ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
解密诺贝尔物理学奖为啥颁给AI?Hinton和Ilya 12年前对话,竟引发物理诺奖AI风暴!
5829点击    2024-10-10 12:57
诺贝尔物理学奖公布第二天,争议依然未平息。诺奖官号都被愤怒的网友冲了:AI不是物理学!Hopfield网络和反向传播算法究竟与物理学有何关系?这要从Hinton和Ilya 12年前的那件事说起。


昨天的诺贝尔物理学奖一公布,瞬间炸翻了物理圈和AI圈。


Hinton的第一反应更是有趣:这不会是个诈骗电话吧?




如此出乎意料的结果,让各路针对诺奖物理学奖的严肃预测,都仿佛成了笑话


而诺贝尔奖的官方账号,也被网友们给冲爆了。


他们纷纷高呼:这不是物理学!




「数据科学或神经网络是『用于』物理学,但绝对不『是』物理学。」



相比之下,AI圈则是一片其乐融融的景象。大佬们都开心地给Hinton送去了祝福。



AI教母李飞飞:AI的深远影响,如今才刚刚开始


MIT博士生Ziming Liu直言:「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果,但唯有科学才能带来从无到有的突破。



Jim Fan则做了一个非常有趣的「AI-物理学对照表」:


想冲击诺奖的AI学者们,你们学会了吗


言归正传,诺贝尔物理学奖,为何要颁给AI学者?


这就要从深度学习爆发的那一年讲起。


Geoffrey Hinton:2012年,深度学习的惊人革命


早在1986年,Geoffrey Hinton等人在Nature上发表的论文,就让训练多层神经网络的「反向传播算法」广为人知。



当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。


可以说,神经网络在经历第一波寒冬之后,自此开始重新走向AI舞台。


1989年,LeCun率先使用了反向传播和卷积神经网络。他也同意Hinton的看法。


我毫不怀疑,最终我们在上世纪80-90年代开发的技术将被采用。


早期的图灵三巨头


不过,反向传播算法引发的热潮,随后又在1995年被统计机器学习盖过去了。


统计机器学习的风头兴盛了很多年,即使2006年Hinton在Science上首次提出「深度学习」,业内也响应寥寥。



直到2012年9月,一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文,让此前沉寂多年的AI领域热度骤起。



文中提出的AlexNet深度卷积神经网络,在当年的ImageNet比赛上以碾压之势夺冠,一举将top-5错误率降低到了15.3%,比身后的第二名(26.2%)足足高出10多个百分点。


ImageNet数据集,正是由斯坦福李飞飞团队在2007年创建。



AlexNet摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。


后来人们所讲的「深度学习革命」,也借此文以发端,直到十二年后的今天。


事后李飞飞这样回顾:自2012年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。


自此,人们开始相信:大数据、算力、深度模型,是走向通用人工智能的关键三要素。


而深度模型也从最早的卷积神经网络,迭代为递归神经网络、Transformer、扩散模型,直至今天的GPT。


从生理学、哲学到AI:大脑究竟如何思考


在年轻时,为了弄清楚人类的大脑如何工作,Hinton首先来到剑桥学习生理学,而后又转向哲学,但最终也没有得到想要的答案。



于是,Hinton去了爱丁堡,开始研究AI,通过模拟事物的运行,来测试理论。


「在我看来,必须有一种大脑学习的方式,显然不是通过将各种事物编程到大脑中,然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接,以便它可以做复杂的事情。」


「我总是受到关于大脑工作原理的启发:有一堆神经元,它们执行相对简单的操作,它们是非线性的,它们收集输入,进行加权,然后根据加权输入给出输出。问题是,如何改变这些权重以使整个事情做得很好?」


某个周日,Hinton坐在办公室,突然有人敲门。AI命运的齿轮从此转动。


敲门的正是Ilya。


当年青涩的Ilya


Hinton给了Ilya一篇关于反向传播的论文,约定两人一周后讨论。



Ilya:I didn't understand it.

Hinton:这不就是链式法则吗?

Ilya:不是,我不明白你为啥不用个更好的优化器来处理梯度?


——Hinton的眼睛亮了一下,这是他们花了好几年时间在思考的问题。



Ilya很早就有一种直觉:只要把神经网络模型做大一点,就会得到更好的效果。Hinton认为这是一种逃避,必须有新的想法或者算法才行。


但事实证明,Ilya是对的。


新的想法确实重要,比如像Transformer这样的新架构。但实际上,当今AI的发展主要源于数据的规模和计算的规模。


2011年,Hinton带领Ilya和另一名研究生James Martins,发表了一篇字符级预测的论文。他们使用维基百科训练模型,尝试预测下一个HTML字符。


模型首次采用了嵌入(embedding)和反向传播,将每个符号转换为嵌入,然后让嵌入相互作用以预测下一个符号的嵌入,并通过反向传播来学习数据的三元组。


当时的人们不相信模型能够理解任何东西,但实验结果令人震惊,模型仿佛已经学会了思考——所有信息都被压缩到了模型权重中。



AI如何「蹭」上物理学


讲到这里,你可能有一个疑问:这些跟物理学有什么关系呢?


诺奖委员会的解释是,人工神经网络是用物理学工具训练的。



Geoffrey Hinton曾以Hopfield网络为基础,创建了一个使用不同方法的新网络:玻尔兹曼机。在这个过程中,Hinton使用的是统计物理学的工具,来学习和识别数据中的模式。


就这样,AI跟物理学联系上了。


如果讲到此次另一位获奖者John Hopfield,倒是和物理学的关系更紧密一些。


一言以蔽之,Hopfield网络是按物理学上能量函数最小化来构建的,可以看作是物理学中「自旋玻璃模型」的扩展。


Hopfield网络利用了材料由于其原子自旋而具有特性的物理学——这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量,并通过找到节点之间连接的值来训练,使保存的图像具有低能量。



另外,Hopfield Network和玻尔兹曼机都是基于能量的模型。


统计力学原理,便是这两者的核心。它们都使用来自统计力学的能量函数,来建模和解决与模式识别和数据分类相关的问题。


在前者当中,能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中,能量函数通过调整节点之间连接的权重来帮助学习数据的分布。


至此,诺奖委员会就自圆其说了。


John Hopfield:一个想法,波及三大学科


20世纪80年代初,John Hopfield在加州理工学院创建了一个简单的计算机模型——Hopfield Network。


其行为方式不太像当时的计算机,而更像人脑。


这是因为,Hopfield Network模仿了人脑储存信息的结构。它由相互连接的节点组成,正如人脑中的神经元一样。


节点中的连接强度具有可塑性,可强可弱,而强连接进而形成了我们所说的「记忆」。



Hopfield学生,现Caltech计算机科学、计算与神经系统以及生物工程教授Erik Winfree解释道:


Hopfield Network是物理学中「自旋玻璃模型」(the spin glass model)的扩展。自旋玻璃有两种磁化状态,可以称之为它的「记忆」。



Hopfield扩展了这一模型,让其有了更复杂的连接模式。


简言之,他使用一个简单的规则,让每对单元(每个节点)之间有不同的连接强度,而不再局限于两种状态。


他的工作证明了,这种网络可以储存多种复杂的模式(记忆),而且比之前的方法更接近大脑运作方式。


Hopfield以一种跨学科的视角阐述这个模型,解释了人工神经网络与物理学之间的联系。


复旦大学计算机科学教授张军平认为,Hopfield Network与物理学领域的关联是,它的设计思路模拟了电路结构。


「假设网络每个单元均由运算放大器和电容电阻组成,而每个单元就代表着一个神经元」。


在普林斯顿大学新闻发布会上,Hopfield表达了同样的观点。他认为,长远来看,新科学领域通常产生于,大量科学知识的交叉点上。


你必须愿意在这些「缝隙」中工作,找出你的知识局限性,以及让这些学科更丰富、更深入、更好被理解而采取的行动。



来自MIT-IBM实验室物理学家Dmitry Krotov分享了,Hopfield Network一个想法至少对三大学科产生了巨大的影响。


它们分别是,统计物理学、计算机科学和人工智能、神经科学。



2023年,他曾发表了一篇Nature论文,对Hopfield Network在统计物理、神经科学和机器学习等多个学科中,进行了分析。


论文地址:https://www.nature.com/articles/s42254-023-00595-y


Krotov本人也与Hopfield合作过多篇研究,因此他对Hopfield Network工作的了解再熟悉不过了。



统计物理学


在统计物理学中,Hopfield Model成为最常被研究的哈密顿量(Hamiltonian)之一。哈密顿量在物理学中,描述了系统的总能量,是理解系统行为的关键。


这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能,提供了切入点。


就连诺贝尔奖官方给出了解释,机器学习模型,是基于物理方程式。



计算机科学和AI


在计算机科学中,Hopfield Network终结了AI寒冬(1974-1981),并开启了人工神经网络的复兴。


Hopfield在1982年发表的论文,标志着现代神经网络的开始。


论文地址:https://www.pnas.org/doi/10.1073/pnas.79.8.2554


就连如今的顶会NeurIPS,起源可以追溯到1984-1986年在加州理工学院举行的被称为「Hopfests」的会议。


这个名字直接致敬了Hopfield,彰显了他的早期工作在神经网络研究中的核心地位。


John Moody在1991年的NeurIPS论文集中记录了这段历史。



另外,Hopfield Network成为限制玻尔兹曼机(Restricted Boltzmann Machine)发展的主要灵感来源。RBM在早期深度学习中,发挥着重要的作用。


还有基于能量的模型(Energy Based Model),代表着人工智能领域中一个重要的范式。


它也是从Hopfield基于能量和记忆的模型发展而来。


神经科学


在神经科学领域,Hopfield Network成为后来许多计算记忆模型的基础。


它将记忆回忆概念化,即能量景观中滚下山坡的想法,已成为神经科学中的经典隐喻。



这次「诺奖风波」后,许多人也对如今的学科分类有了全新的思考。


不可否认的是,AI已经融入了全学科、全领域。


而这次诺贝尔物理学奖颁给AI,也是AI大爆发对于人类社会颠覆影响的一个真实写照。


文章来自于“新智元”,作者“编辑部 HYZ”。


关键词: AI , AI物理 , AI化学 , Hinton