首个像人类一样思考的网络！Nature子刊：AI模拟人类感知决策
首个像人类一样思考的网络！Nature子刊：AI模拟人类感知决策近日，来自佐治亚理工学院的研究人员开发了RTNet，首次表明其「思考方式」与人类非常相似。
来自主题: AI技术研报
9895 点击 2024-08-14 16:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，来自佐治亚理工学院的研究人员开发了RTNet，首次表明其「思考方式」与人类非常相似。
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。
用光训练神经网络，清华成果最新登上了Nature！
没有算法没有实验，从2610篇收录论文中脱颖而出，成为唯一一篇纯理论入选2024 ICML Spotlight的论文。
本文首先简单回顾了『等效交互可解释性理论体系』（20 篇 CCF-A 及 ICLR 论文），并在此基础上，严格推导并预测出神经网络在训练过程中其概念表征及其泛化性的动力学变化，即在某种程度上，我们可以解释在训练过程中神经网络在任意时间点的泛化性及其内在根因。
这是人类首次证明神经网络可以创建自己的地图。
低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。
最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。
神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。
生物神经网络有一个重要的特点是高度可塑性，这使得自然生物体具有卓越的适应性，并且这种能力会影响神经系统的突触强度和拓扑结构。