搜索
如果你觉得 AI agent 离帮你订机票、填报销单、投简历只有一步之遥，那 MMLU-Pro 的作者联合滑铁卢大学 TIGER Lab，UBC NAIL Group 和 UniPat AI，CMU 等机构刚刚放出的这项研究，可能会让你冷静下来。
上周一，我发了自己做的AIHOT大模型排行榜。
6月22日Claude全家桶集体宕机，只是冰山一角。当最强大模型被丢进真实机房直面「幽灵故障」，AISHPerf-智算运维智能体评测基准给出残酷答案：全军覆没，无一过50分。这道鸿沟，第一次被量化。
随着全球智能体加速落地，算力需求呈指数级爆发，以 GPU 为核心的 AI 基础设施正变得愈发关键。据摩根士丹利报告预测，2028 年全球 AI 基础设施累计总投资将达 2.9 万亿美元。
美团LongCat团队发布了当前高度贴近真实生活场景、面向复杂问题的大模型智能体评测基准——VitaBench（Versatile Interactive Tasks Benchmark）。VitaBench以外卖点餐、餐厅就餐、旅游出行三大高频生活场景为典型载体，构建了一个包含66个工具的交互式评测环境，并设计了跨场景综合任务。
都在研究考生，考卷出问题了。
第一作者孙秋实是香港大学计算与数据科学学院博士生，硕士毕业于新加坡国立大学数据科学系。