哈佛&DeepMind：LLM出身论，内心两只狼，决定LLM如何说真话
哈佛&DeepMind：LLM出身论，内心两只狼，决定LLM如何说真话What？LLM也要看出身！确实，不同的数据集训出的模型“个性”会有大不同，尤其在加之权衡方面。这就像我们经常与自己内心相互竞争的目标和价值观作斗争。
来自主题: AI资讯
6306 点击 2025-06-30 11:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
What？LLM也要看出身！确实，不同的数据集训出的模型“个性”会有大不同，尤其在加之权衡方面。这就像我们经常与自己内心相互竞争的目标和价值观作斗争。
这两天 Andrej Karpathy 的最新演讲在 AI 社区引发了热烈讨论，他提出了「软件 3.0」的概念，自然语言正在成为新的编程接口，而 AI 模型负责执行具体任务。
今天，著名的人工智能学者和认知科学家 Gary Marcus 转推了 MIT、芝加哥大学、哈佛大学合著的一篇爆炸性论文，称「对于 LLM 及其所谓能理解和推理的神话来说，情况变得更糟了 —— 而且是糟糕得多。」
只需一眨眼的功夫，Mercury 就把任务完成了。「我们非常高兴地推出 Mercury，这是首款专为聊天应用量身定制的商业级扩散 LLM！Mercury 速度超快，效率超高，能够为对话带来实时响应，就像 Mercury Coder 为代码带来的体验一样。」
但在当今的深度 Transformer LLMs 中仍有其局限性，限制了信息在跨层间的高效传递。 彩云科技与北京邮电大学近期联合提出了一个简单有效的残差连接替代：多路动态稠密连接（MUltiway Dynamic Dense (MUDD) connection），大幅度提高了 Transformer 跨层信息传递的效率。
迈向通用人工智能（AGI）的核心目标之一就是打造能在开放世界中自主探索并持续交互的智能体。随着大语言模型（LLMs）和视觉语言模型（VLMs）的飞速发展，智能体已展现出令人瞩目的跨领域任务泛化能力。
最近，扩散语言模型（dLLM）有点火。现在，苹果也加入这片新兴的战场了。
LLM 智能体（LLM Agent）正从 “纸上谈兵” 的文本生成器，进化为能自主决策、执行复杂任务的 “行动派”。它们可以使用工具、实时与环境互动，向着通用人工智能（AGI）大步迈进。然而，这份 “自主权” 也带来了新的问题：智能体在自主交互中，是否安全？
LLMs能当科研助手了？ 北大出考题，结果显示：现有模型都不能胜任。
过去几年，随着基于人类偏好的强化学习（Reinforcement Learning from Human Feedback，RLHF）的兴起，强化学习（Reinforcement Learning，RL）已成为大语言模型（Large Language Model，LLM）后训练阶段的关键技术。