大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手
大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
来自主题: AI技术研报
6324 点击 2024-10-14 10:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
计算资源并非性能提升的唯一途径：Arvind Narayanan 认为，仅仅增加计算资源并不总是能带来模型性能的等比提升。目前，数据量正逐渐成为限制AI发展的主要瓶颈。
5 大证据显示，LLM 在推理复杂问题时非常脆弱。
在红杉资本在最新发布的文章《Generative AI's Act O1 ：The Agentic Reasoning Era Begins》中，讨论了当下生成式AI正在从以训练时计算的快思考，向以推理时计算的慢思考发展。OpenAI 的新模型 o1便是重要的标志。慢思考的到来也将会带来新的机会，行业认知的重要性被高度重视起来，过去对于AI应用以及背后的商业理解也将被刷新。
谁更懂AI训练，是人类还是AI自己？
在当今的人工智能领域，Transformer 模型已成为解决诸多自然语言处理任务的核心。然而，Transformer 模型在处理长文本时常常遇到性能瓶颈。传统的位置编码方法，如绝对位置编码（APE）和相对位置编码（RPE），虽然在许多任务中表现良好，但其固定性限制了其在处理超长文本时的适应性和灵活性。
不百分百还原出虚拟场景，效果反而更好。
近日，来自谷歌DeepMind的研究人员提出了Michelangelo，「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。
生成性人工智能正从快速预训练响应向慢速深度推理转变，开启自主应用的新篇章。
OpenAI 最近发布的 o1 系列模型堪称迈向强人工智能的一次飞跃，其强大的推理能力为我们描绘出了下一代人工智能模型的未来图景。近日，伦敦大学学院（UCL）人工智能中心汪军教授撰写了一份「LLM 推理教程」，深入详细地介绍了 OpenAI ο1 模型背后的相关方法。