250份文档就能给大模型植入后门：不分参数规模
250份文档就能给大模型植入后门：不分参数规模大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
来自主题: AI技术研报
8766 点击 2025-10-11 12:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型安全的bug居然这么好踩？？250份恶意文档就能给LLM搞小动作，不管模型大小，600M还是13B，中招率几乎没差。这是Claude母公司Anthropic最新的研究成果。
来自加拿大蒙特利尔三星先进技术研究所（SAIT）的高级 AI 研究员 Alexia Jolicoeur-Martineau 介绍了微型递归模型（TRM）。这个 TRM 有多离谱呢？一个仅包含 700 万个参数（比 HRM 还要小 4 倍）的网络，在某些最困难的推理基准测试中，
本次新研究是迄今为止规模最大的大模型数据投毒调查。Anthropic 与英国人工智能安全研究所（UK AI Security Institute）和艾伦・图灵研究所（Alan Turing Institute）联合进行的一项研究彻底打破了这一传统观念：只需 250 份恶意文档就可能在大型语言模型中制造出「后门」漏洞，且这一结论与模型规模或训练数据量无关。
Meta 超级智能实验室、伦敦大学学院、Mila、Anthropic 等机构的研究者进行了探索。从抽象层面来看，他们将 LLM 视为其「思维」的改进操作符，实现一系列可能的策略。研究者探究了一种推理方法家族 —— 并行 - 蒸馏 - 精炼（Parallel-Distill-Refine, PDR），
这个国庆，我难得地，拥有了一大段完全属于自己的时间。 没有工作，没有社交，没有KPI。 每天除了打游戏、看小说、电影之外，就是随意的跟AI进行对话，以前更多的是功利性的，必须需要它帮我处理是什么事情，
具体而言，Verlog 是一个多轮强化学习框架，专为具有高度可变回合（episode）长度的长时程（long-horizon） LLM-Agent 任务而设计。它在继承 VeRL 和 BALROG 的基础上，并遵循 pytorch-a2c-ppo-acktr-gail 的成熟设计原则，引入了一系列专门优化手段，从而在任务跨度从短暂交互到数百回合时，依然能够实现稳定而高效的训练。
什么AI应用公司和方向是OpenAI看好的？这不，OpenAI公布了30家Tokens消耗破万亿的“大金主”。榜单按每家公司接入OpenAI API挂名人的姓氏排序，排名不分先后，初创公司多数由联合创始人亲自挂名，而大型企业则由专门的AI部门负责人负责对接。
Supermemory 已获得由 Susa Ventures、Browder Capital 和 SF1.vc 领投的 260 万美元种子轮融资。此轮融资还包括 Cloudflare 的 Knecht、谷歌人工智能负责人 Jeff Dean、DeepMind 产品经理 Logan Kilpatrick、Sentry 创始人 David Cramer 以及来自 OpenAI、
清华物理系传奇特奖得主姚顺宇离职Anthropic，正式加盟谷歌DeepMind！他在Anthropic仅工作一年，离职原因中约40%与公司「价值观」不合。他指出现阶段AI研究如同17世纪热力学探索：虽缺乏完整理论，却充满规律发现的契机。
OpenAI 2025开发者日上，全场座无虚席。奥特曼重磅官宣四大更新：首发Apps SDK要把ChatGPT打造为「操作系统终极入口」，一键拖拽构建智能体AgentKit，无代码Codex开发，以及Sora 2等三大API登场。OpenAI的野心，彻底藏不住了。