反向传播、前向传播都不要，这种无梯度学习方法是Hinton想要的吗？
反向传播、前向传播都不要，这种无梯度学习方法是Hinton想要的吗？Noprop：没有反向传播或前向传播，也能训练神经网络。
来自主题: AI技术研报
9311 点击 2025-04-07 16:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Noprop：没有反向传播或前向传播，也能训练神经网络。
华人学者、斯坦福大学副教授 James Zou 领导的团队提出了 TextGrad ，通过文本自动化“微分”反向传播大语言模型（LLM）文本反馈来优化 AI 系统。只需几行代码，你就可以自动将用于分类数据的“逐步推理”提示转换为一个更复杂的、针对特定应用的提示。
在今年1月《Journal of Supercomputing》上开源的「开源类脑芯片」二代（Polaris 23）完整版本源代码，基于RISC-V架构，支持脉冲神经网络（SNN）和反向传播STDP。该芯片通过并行架构显著提升神经元和突触处理能力，带宽和能效大幅提升，MNIST数据集准确率达91%。
视觉语言模型（如 GPT-4o、DALL-E 3）通常拥有数十亿参数，且模型权重不公开，使得传统的白盒优化方法（如反向传播）难以实施。
Hinton在人工智能领域的贡献极其卓越，被誉为 “神经网络之父”、“人工智能教父”。他的主要贡献包括：反向传播算法的改进与推广、深度学习模型的创新（深度置信网络、卷积神经网络等多个深度学习网络结构）。Hinton还为AI行业培养了包括OpenAI前首席科学家伊尔亚・苏茨克维（Ilya Sutskever）在内的诸多人才。
诺贝尔物理学奖公布第二天，争议依然未平息。诺奖官号都被愤怒的网友冲了：AI不是物理学！Hopfield网络和反向传播算法究竟与物理学有何关系？这要从Hinton和Ilya 12年前的那件事说起。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
用光训练神经网络，清华成果最新登上了Nature！
自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段
生物神经网络有一个重要的特点是高度可塑性，这使得自然生物体具有卓越的适应性，并且这种能力会影响神经系统的突触强度和拓扑结构。