大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手
大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
来自主题: AI技术研报
4718 点击 2024-10-14 10:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
计算资源并非性能提升的唯一途径：Arvind Narayanan 认为，仅仅增加计算资源并不总是能带来模型性能的等比提升。目前，数据量正逐渐成为限制AI发展的主要瓶颈。
5 大证据显示，LLM 在推理复杂问题时非常脆弱。
谁更懂AI训练，是人类还是AI自己？
在当今的人工智能领域，Transformer 模型已成为解决诸多自然语言处理任务的核心。然而，Transformer 模型在处理长文本时常常遇到性能瓶颈。传统的位置编码方法，如绝对位置编码（APE）和相对位置编码（RPE），虽然在许多任务中表现良好，但其固定性限制了其在处理超长文本时的适应性和灵活性。
近日，来自谷歌DeepMind的研究人员提出了Michelangelo，「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。
OpenAI 最近发布的 o1 系列模型堪称迈向强人工智能的一次飞跃，其强大的推理能力为我们描绘出了下一代人工智能模型的未来图景。近日，伦敦大学学院（UCL）人工智能中心汪军教授撰写了一份「LLM 推理教程」，深入详细地介绍了 OpenAI ο1 模型背后的相关方法。
本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。
该研究主要探讨了大语言模型的全局剪枝方法，旨在提高预训练语言模型的效率。该成果的发表为大模型的剪枝与优化研究提供了新的视角，并在相关领域具有重要的应用潜力。
「多智能体系统」是人工智能领域最热门的流行词之一，也是开源框架 MetaGPT 、 Autogen 等研究的焦点。 但是，多智能体系统就一定是完美的吗 近日，来自卡内基梅隆大学的副教授 Graham Neubig 在文章《Don't Sleep on Single-agent Systems》中强调了单智能体系统也不可忽视。