大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背训练大模型时，有时让它“记性差一点”，反而更聪明！
来自主题: AI技术研报
7636 点击 2025-09-04 11:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
训练大模型时，有时让它“记性差一点”，反而更聪明！
你现在的竞争对手，是每天工作 12 小时、全年无休的 AI 创业公司，且部分业务已经由 AI 提效。在 AI 时代，企业就没有「不转型」的选择。
最近 Nano Banana 邪修玩法满天飞，其中有一个在 X 爆火的生图模板，可以让你和喜爱的二次元角色来一次亲密接触。
这几天，我的小红书被一个港科的项目刷屏了。它叫 aivilization，一个住着两万多个 AI 的小镇。
两个多月前，Meta豪掷143亿美元收购Scale AI 49%的股份。
在这场以大型语言模型（LLM）为核心的 AI 浪潮中，苹果似乎一直保持着低调，很少出现在技术报道的前沿。尽管如此，时不时地，该公司也能拿出一些非常亮眼的研究成果，比如能在 iPhone 上直接运行的高效视觉语言模型 FastVLM。
全球三大高翻院之一，蒙特雷国际研究学院（MIIS）官宣，2026年7月正式停招研究生。生源不足、财务问题之下，许多人还将矛头指向了AI。如今，机翻精度高、又快又准，突然理解，什么是时代的眼泪了。
AI 产品经理，和我们所熟知的 PC、App 时代的产品经理完全不一样。
大语言模型通过 CoT 已具备强大的数学推理能力，而 Beam Search、DVTS 等测试时扩展（Test-Time Scaling, TTS）方法可通过分配额外计算资源进一步提升准确性。然而，现有方法存在两大关键缺陷：路径同质化（推理路径趋同）和中间结果利用不足（大量高质量推理分支被丢弃）。
论搞事情，网友们从来不让人失望。 这不，最近海外又出了个营销大整活，网友 Ömer Öztok 声称自己给 OpenAI 投了份申请担任 CEO 的简历。