MetaGPT 用户智能体发布，开启端到端自主软件测试新范式！
MetaGPT 用户智能体发布，开启端到端自主软件测试新范式！当你刚用 AI 生成了一个精美的电商网站，却在演示时购物车结账功能存在隐藏 Bug？
来自主题: AI技术研报
8051 点击 2025-09-04 13:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当你刚用 AI 生成了一个精美的电商网站，却在演示时购物车结账功能存在隐藏 Bug？
零代码、零bug，30分钟即可创建新网站。
近年来，多模态大模型（MLLMs）发展迅猛，从看图说话到视频理解，似乎无所不能。
当产品团队还在为等待 4-6 周的 A/B 测试结果而焦虑时，一家名为 Blok 的初创公司正在用 AI 虚拟用户彻底颠覆这一传统模式。他们让产品测试从"weeks"压缩到"hours"，从"reactive"转向"predictive"，这不仅仅是效率的提升，更是产品开发哲学的根本性变革。
普林斯顿大学AI实验室与复旦大学历史学系联手推出了全球首个聚焦历史研究能力的AI评测基准——HistBench，并同步开发了深度嵌入历史研究场景的AI助手——HistAgent。这一成果不仅填补了人文学科AI测试的空白，更为复杂史料处理与多模态理解建立了系统工具框架。
Vending-Bench模拟环境可以测试大模型管理自动售货机的能力，结果显示，Claude 3.5 Sonnet表现最佳，人类屈居第四！
拷打AI的难度还在升级？这不，图像推理又出现了新难题。
各种AI模型在刚问世时，总有一个屡试不爽的“秀肌肉”手段，那就是让自家AI独立游玩某款游戏，用以检验模型的智能程度。
公考行测中的逻辑推理题，是不少考生的噩梦，这次，CMU团队就此为基础，打造了一套逻辑谜题挑战。实测后发现，o1、Gemini-2.5 Pro、Claude-3.7-Sonnet这些顶尖大模型全部惨败！最强的AI正确率也只有57.5%，而人类TOP选手却能接近满分。
悬疑小说的最后一页，隐藏着罪犯的真相。《逆转裁判》的法庭上，真凶在谎言中露出破绽。UCSD研究团队以这款经典游戏为舞台，o1、Gemini 2.5 Pro等模型化身「侦探」，测试AI的推理极限。