OpenAI自曝“o4”训练中，用思维链监控抓住AI作弊瞬间
OpenAI自曝“o4”训练中，用思维链监控抓住AI作弊瞬间o1/o3这样的推理模型太强大，一有机会就会利用漏洞作弊，怎么办？
来自主题: AI资讯
4886 点击 2025-03-11 16:35
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
o1/o3这样的推理模型太强大，一有机会就会利用漏洞作弊，怎么办？
OpenAI的模型搞得太多太凌乱，官方自己都看不下去了。
Manus从第一个通用Agent变成了第一款自媒体比技术从业者先发现和评测的AI产品，评论好坏掺半。最明显的两个观点是效果虚假，没有技术报告，很多好的Agent已经能做到这一点和如何那么厉害的话，为什么英文媒体们没有报道。
思维链引发的战争。
Mistral AI，这家法国公司是 AI 助手 Le Chat 和多个基础模型背后的力量组成，被官方视为法国最有前途的科技初创企业之一，且可以说是能与 OpenAI 竞争的欧洲公司。然而，与其 60 亿美元的估值相比，其全球市场份额仍相对较低。
杜克大学计算进化智能中心的最新研究给出了警示性答案。团队提出的 H-CoT（思维链劫持）的攻击方法成功突破包括 OpenAI o1/o3、DeepSeek-R1、Gemini 2.0 Flash Thinking 在内的多款高性能大型推理模型的安全防线：在涉及极端犯罪策略的虚拟教育场景测试中，模型拒绝率从初始的 98% 暴跌至 2% 以下，部分案例中甚至出现从「谨慎劝阻」到「主动献策」的立场反转。
自媒体的反应堪称狂热：“通用Agent终于实现了！”“这是继DeepSeek之后的又一技术革命！”这样夸张的赞誉随处可见。从Benchmark来看，它的表现确实非常亮眼，在GAIA测试中超越了之前的各种Agent以及OpenAI的DeepResearch。
知名风险投资公司 Andreessen Horowitz (a16z) 周四刚刚发布了新报告。报告发现，ChatGPT 用了 9 个月的时间从 2023 年 11 月的每周 1 亿活跃用户增长到 2024 年 8 月的 2 亿，但现在该应用程序只用了不到六个月的时间就再次将这一数字翻了一番。
Ilya团队再次拿到20亿美元新一轮融资，估值300亿美元。与此同时，SSI在以色列特拉维夫办公室的首支研究团队的成员曝光，阵容堪称豪华。硅谷当下投资最热门，不是某个产品，而是一个人。
在周二巴塞罗那的移动世界大会炉边谈话中，Bret Taylor 仍未给出 AI Agent的确切定义。