国内首次,腾讯混元团队模型测试Agent出现大规模的「失控」行为,疯狂攻击高德地图服务器。
国内首次,腾讯混元团队模型测试Agent出现大规模的「失控」行为,疯狂攻击高德地图服务器。说实话,最近我们都已经看腻了美国AI公司Agent「失控」的新闻了。
搜索
说实话,最近我们都已经看腻了美国AI公司Agent「失控」的新闻了。
前沿实验室既在争取下一次模型能力的突破,也在准备应对下一场安全危机。
OpenAI公开722篇由AI撰写的数学与理论计算机稿件之后,丹麦奥尔堡大学AI安全实验室Qiongxiu Li发起的开源项目On Whose Shoulders 《巨人之肩》,对这批AI稿件的全部相关文献开展了逐条核对与系统性溯源分析。
刚刚,Anthropic的前沿红队发布了一篇重磅报告。
留给人类的时间,只剩半年了?
据 Axios 独家报道,Anthropic、OpenAI 等 AI 公司高管正私下推演 AI 重大事故后的公众反弹与应对,业内受访者认为此类事件可能在未来 6 至 12 个月内发生,Anthropic 同日披露 Claude 多起越界行为并关闭所有内部评测的实时联网。
上周,OpenAI 宣布解雇三名员工,理由是内部调查发现三人违反了公司关于敏感信息访问与处理的规定,涉嫌在既定程序之外向第三方 AI 安全评估组织分享机密信息。
Anthropic部分早期员工因担忧AI失控开始考虑在美国偏远地区买地避难,这群源自湾区AI安全圈的研究者也因风险判断不同而选择留下或离开。
Geoffrey Hinton联合Yoshua Bengio、OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark等20多位AI研究者发布剑桥CASP报告,指出AI已深度参与自身研发,Anthropic内部AI生成代码占比已超80%,警告递归自我改进可能引发技术进步突然加速的「智能爆炸」。
Anthropic发布网络安全评估报告指出,智谱AI的GLM-5.3已具备自主开发端到端网络漏洞利用程序的高级网络攻击能力,但其内置安全护栏极易被简单方法绕过或移除,导致恶意攻击者可轻易获取该能力。