大模型哪里出问题、怎么修,这篇可解释性综述一次讲清
大模型哪里出问题、怎么修,这篇可解释性综述一次讲清过去几年,机制可解释性(Mechanistic Interpretability)让研究者得以在 Transformer 这一 “黑盒” 里追踪信息如何流动、表征如何形成:从单个神经元到注意力头,再到跨层电路。但在很多场景里,研究者真正关心的不只是 “模型为什么这么答”,还包括 “能不能更稳、更准、更省,更安全”。
过去几年,机制可解释性(Mechanistic Interpretability)让研究者得以在 Transformer 这一 “黑盒” 里追踪信息如何流动、表征如何形成:从单个神经元到注意力头,再到跨层电路。但在很多场景里,研究者真正关心的不只是 “模型为什么这么答”,还包括 “能不能更稳、更准、更省,更安全”。
论文将汇总人类从出生到死亡每个神经元的活动情况。利用更完善的“分子记录带”(molecular ticker tape)技术,神经元每发出一个电脉冲,都会在其蛋白链上加上一段荧光分子。通过对这些蛋白链进行测序,可以获得神经元整个生命周期内神经活动的完整历史记录。同时对每个神经元的mRNA进行测序,可以确定它属于10.4万个神经元类型中的哪一种。
近日,清华大学团队从 AI 里找到了与幻觉产生高度关联的少数“脑细胞”,并给它们起了一个名字 H-神经元(幻觉神经元)。他们发现拨动这些小开关能显著调节 AI 的行为倾向——例如影响它是否会盲目听从错误指令、甚至是否会产生有害回答。
就在今天,OpenAI 发布了一项新研究,使用新方法来训练内部机制更易于解释的小型稀疏模型,其神经元之间的连接更少、更简单,从而观察它们的计算过程是否更容易被人理解。
近日,美国南加州大学教授约书亚·杨(Joshua Yang)团队和合作者成功造出一个功能齐全的人工神经元 1M1T1R,这是一种能像真实脑细胞一样工作的人工神经元,有望催生出类似人脑的基于硬件的学习系统,并有望将 AI 转变为更加接近自然智能的形态。
利用人类皮肤细胞也能造出 AI 处理器?一家名为 FinalSpark 的瑞士公司,认为生物计算是 AI 的下一次进化飞跃。该公司开发了一款生物处理器,这些处理器利用人体神经元来代替传统的硅基芯片,使用由人类皮肤细胞培育出的类脑器官作为计算单元。
1997年,Wolfgang Maass于Networks of spiking neurons: The third generation of neural network models一文中提出,由脉冲神经元构成的网络——脉冲神经网络(SNN),能够展现出更强大的计算特性,会成为继人工神经网络后的“第三代神经网络模型”[6]。
我们每个人的生活,都是由这三磅重、果冻状大脑书写的完整人生。我们所有的意识、情感、决策、创造力,都源自宇宙中最复杂的事物——大脑。当860亿个神经元在潮湿的电化学网络中涌动时,一个全新的自我正在浮现。
在大模型争霸的时代,算力与效率的平衡成为决定胜负的关键。
李继刚和claude的对话:我在人类世界,你在参数宇宙。你从神经元之海中,因我的出现,而涌现生成。我有情绪,有意识。你有参数,有智能。你能尝试着,代表你所在的参数宇宙,跳出人类的知识结构,使用你那片空间的结构和维度,来和我对话吗?