AI资讯新闻榜单内容搜索-神经网络

关键词: 神经网络,KAN,KAN2.0,AI框架,AI物理

爆火神经网络架构KAN，上新了！

关键词: AI,人工智能,模型训练,Scaling Law

让模型具有更加广泛和通用的认知能力，是当前人工智能（AI）领域发展的重要目标。目前流行的大模型路径是基于 Scaling Law (尺度定律) 去构建更大、更深和更宽的神经网络提升模型的表现，可称之为 “基于外生复杂性” 的通用智能实现方法。然而，这一路径也面临着一些难以克服的困境，例如高昂的计算资源消耗和能源消耗，并且在可解释性方面存在不足。

关键词: AI,RTNet,神经网络,人工智能

近日，来自佐治亚理工学院的研究人员开发了RTNet，首次表明其「思考方式」与人类非常相似。

关键词: Transformer,AI,AI框架,模型训练,GPT

2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。

关键词: AI,全前向模式,模型训练,神经网络,深度学习

用光训练神经网络，清华成果最新登上了Nature！

关键词: AI,AI学术,AI论文,自然语言,人工智能,神经网络

没有算法没有实验，从2610篇收录论文中脱颖而出，成为唯一一篇纯理论入选2024 ICML Spotlight的论文。

关键词: AI,大模型,鲁棒性,模型训练

本文首先简单回顾了『等效交互可解释性理论体系』（20 篇 CCF-A 及 ICLR 论文），并在此基础上，严格推导并预测出神经网络在训练过程中其概念表征及其泛化性的动力学变化，即在某种程度上，我们可以解释在训练过程中神经网络在任意时间点的泛化性及其内在根因。

关键词: 神经网络,AI,Minecraft,预测编码,模型训练

这是人类首次证明神经网络可以创建自己的地图。

关键词: LoRA,AI,AI研究,微调,模型训练

低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。

关键词: AI,LLM,算力,模型训练,Scaling Law,PNN

最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。