PaperBench 是一个由 OpenAI 开发的基准测试，旨在评估 AI Agent 复现尖端 AI 研究的能 力。它专注于测试 AI 是否能理解研究论文、独立开发代码并执行实验以复现研究结果。
刚刚开源的新基准测试PaperBench，6款前沿大模型驱动智能体PK复现AI顶会论文，新版Claude-3.5-Sonnet显著超越o1/r1排名第一。与去年10月OpenAI考验Agent机器学习代码工程能力MLE-Bnch相比，PaperBench更考验综合能力，不再是只执行单一任务。
论文第一作者为余鑫，香港大学三年级博士生，通讯作者为香港大学齐晓娟教授。主要研究方向为生成模型及其在图像和 3D 中的应用，发表计算机视觉和图形学顶级会议期刊论文数十篇，论文数次获得 Oral, Spotlight 和 Best Paper Honorable Mention 等荣誉。此项研究工作为作者于 Adobe Research 的实习期间完成。
AI学校simahuapeng.ai重塑教育模式，提供名人互动学习。
刚刚，人工智能顶会 NeurIPS 公布了今年的最佳论文（包括 Best Paper 和 Best Paper Runner-up，大会注册者可以看到）。
全球首个AI程序员Devin正以其自主编码、快速学习的超凡能力，挑战传统程序开发的边界。它不仅让投资界为之疯狂，更让程序员们既期待又警惕。这是技术革命的黎明，还是就要被颠覆的工作landscape？
在当今的人工智能领域，Transformer 模型已成为解决诸多自然语言处理任务的核心。然而，Transformer 模型在处理长文本时常常遇到性能瓶颈。传统的位置编码方法，如绝对位置编码（APE）和相对位置编码（RPE），虽然在许多任务中表现良好，但其固定性限制了其在处理超长文本时的适应性和灵活性。
在人工智能的世界里，大型语言模型（LLM）已经成为我们探索未知、解决问题的得力助手。但是，你在编写AI提示词时，是否觉得这个过程就像在“炼丹”，既神秘又难以掌握？别担心，自动提示工程（APE）来帮你了！
这是 AI 智能体在大部分科学研究中超越人类的第一个案例，或许会彻底改变人类与科学文献互动的方式。
人工设计提示词太麻烦了！想过让 LLM 帮你设计用于 LLM 的提示词吗？
