Sarah Guo：能被 Benchmark 衡量的工作，都不应该是你的创业方向
Sarah Guo：能被 Benchmark 衡量的工作，都不应该是你的创业方向今年开年以来，不管是硅谷、还是国内的 AI 投资圈子，都不太敢投 AI 应用了。
来自主题: AI资讯
8349 点击 2026-06-12 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
今年开年以来，不管是硅谷、还是国内的 AI 投资圈子，都不太敢投 AI 应用了。
根据我长期使用的观察，0.3 倍率说是用 Kiro 逆向出来的 Claude，2.0 倍率说是正经 Claude Max 号池接出来的。听起来后者肯定更靠谱。我一开始也这么想的。毕竟倍率差了快七倍，价格摆在那，总不至于拿假货糊弄人吧。
近日，来自清华大学智能产业研究院（AIR）的团队联合北京智源研究院（BAAI）、北京大学、南京大学等机构构建了一个基准：GeoCodeBench。这是一个面向 3D 几何计算机视觉的 PhD 级 coding benchmark，
2026 年初，国内具身智能赛道掀起了一波开源潮，越来越多团队开始公开自己的视觉-语言-动作（VLA）模型、数据集与训练框架。与此同时，行业竞争也逐渐集中到 benchmark 成绩、任务成功率以及跨任务泛化能力上，尤其是在标准化或已训练任务中的表现。
Mechanize 发布了一项硬核测试：给前沿 AI coding agents 24 小时，用 Rust 从零写一个完整的 Game Boy Advance 模拟器，再和顶级开源模拟器 Mesen2 逐帧对比打分。
Claw-Eval-Live提出「活的」benchmark概念，通过信号采集与任务筛选，确保评测内容紧跟企业实际痛点，而非固定不变的题库。评测不仅关注结果，还追踪执行过程，从数据调用到状态变更，全面验证Agent的真实能力。
SWE-Bench 的创建者，刚刚又放出了一个地狱级新 benchmark。
一款名为 MotuBrain 的神秘世界模型，悄无声息地登上两个国际 benchmark 的榜首，没有任何公司署名。如果只是单榜第一，这件事或许并不稀奇。但问题在于，它同时拿下的，是两个几乎代表行业「两个极点」的榜单：一个是衡量世界模型「是否真正理解和预测现实世界」的 WorldArena
现象级AI视频技术、字节Seedance 2.0在arXiv发论文了。晒了26页的Benchmark，和贡献者名单。170位团队成员全公开，署名和尊重都拉满了，不过嘛这就不怕……嘛？
本文综合北京大学王选计算机研究所发布的 ProactiveVideoQA 和 MMDuet2 两篇论文，介绍视频多模态大模型如何实现 “主动交互”—— 在视频播放过程中自主决定何时发起回复，而非等待用户提问。ProactiveVideoQA 提出评估指标和 benchmark，MMDuet2 则通过强化学习训练方法实现了 SOTA 性能，无需精确的回复时间标注即可训练出及时、准确的主动交互模型。