太科幻了,深夜上线的Claude,可以像人类一样使用计算机了?查看屏幕、移动光标、点击按钮、输入文本,还能查找代码错误、自动搜集信息填表。AI推理已至瓶颈,下一个爆破点,就是AI操作电脑!
Claude 3.5深夜迎来重磅升级!
不出所料,Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku,全新升级版Claude 3.5 Sonnet也来了。
不过,「超大杯」Opus依然没有亮相。
让人惊艳的是,进化后的Claude 3.5 Sonnet一举击溃OpenAI o1,堪称最强推理模型。
它在各个方面得到了全面显著的提升,尤其是业界领先的编码能力。
而Claude 3.5 Haiku与上一代最强Claude 3 Opus性能相当,成本、速度与上一代Haiku相近。
甚至,Claude现在能够像人类一样操作计算机,不仅可以查看屏幕、移动光标,还可以单机按钮、键入文本!
Anthropic开发者关系主管表示,「计算机使用」是全新人机交互范式的第一步。同时也是,AI模型应该具备的全新基础能力。
许多做浏览器智能体的初创公司,一夜之间过时了。
网友们纷纷感叹:Agent和工作流都要变天了……
在公测中,Anthropic引入一项突破性的新功能:计算机使用能力。从今天起,开发者可以通过API,指导Claude像人类一样使用计算机了。
Claude 3.5 Sonnet是首个在公测中提供此功能的模型。
当然,这项功能仍处于实验阶段,使用起来还有些笨拙,可能出错。而Anthropic选择提前发布此功能,也是为了获得开发者反馈,将之快速改进。
为什么要训练AI操作电脑?
Anthropic表示,在过去几年里,强大的AI开发已经达到了许多里程碑,比如执行复杂逻辑推理,以及识别和理解图像的能力。
而下一个突破点,就是AI操作电脑了!如果模型不必通过专门定制的工具进行交互,而是按指示就能使用所有软件,这一定代表着未来的方向。
在这个demo中,Anthropic研究员给Claude提出了一个极有难度的挑战:
我的朋友要来旧金山,我想明天早上和他一起在金门大桥看日出。我们将从太平洋高地出发。你能帮我们找到一个绝佳的观赏地点,查看一下开车时间和日出时间,然后安排一个日历活动,让我们有足够的时间到达那里吗?
Claude自行打开了Google,开始了搜索。
金门大桥和用户居住地有多远呢?Claude会自己打开地图查找距离。
了解所需信息之后,它打开了日历,为主人安排好了日程。
开发者展示出Claude如何操控了自己的笔记本电脑,丝滑地完成了一个网站编程任务。
首先,Claude在小哥的Chrome浏览器中导航到了Claude.ai,并且让Claude为自己创造了一个90年代主题的个人主页。
只见它自己输入网址,键入提示,向另一个Claude发出请求。
Claude.ai返回了一些代码,渲染出来的画面看起来很不错,但小哥希望在自己的电脑本地上对网站做一些修改。
于是他让Claude下载文件,然后在VS Code中将其打开。Claude成功完成了这些指令。
然后小哥让Claude启动了一个服务器,然后就可以在浏览器中实际查看这个文件了。
Claude打开了VS Code终端,尝试启动一个服务器,然后却遇到了错误:机子上并没有安装Python。
结果,通过查看终端输出,Claude自己发现了这个问题!它用Python 3再次尝试,成功运行起了服务器。
不过,终端输出中有个错误,顶部还缺少了一个文件图标。开发者小哥请Claude来识别这个错误,在文件中修复它。
令人惊喜的是,Claude在VS Code中找到了引发错误的行,删除了整行,然后保存文件、重新运行网站。
这次,网站完全正确!
假设我们需要填写一份来自「蚂蚁设备公司」的供应商请求表,但需要填写的数据散步在电脑的各个角落,Claude能帮我们完成吗?
只见它开始截取小哥的屏幕截图,并且很快发现:蚂蚁设备公司并不在表格中。
这时,它立刻切换到CRM系统中,去搜索这个公司。找到后,它开始滚动页面,查找填表所需的所有信息,然后提交了表格。
这也就意味着,我们工作中许多不得不做的繁琐事项,都可以交由Claude代劳了!
现在,这个功能已经在API中可用了。
现在,Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等多家知名公司,已经在探索Claude的新潜能,让它们执行数十步甚至数百步的复杂任务了。
比如,Replit正在利用Claude 3.5 Sonnet的计算机使用和用户界面导航能力,为Replit Agent开发功能,在构建应用程序过程中对其实时评估。
新升级后的Claude 3.5 Sonnet,电脑使用能力究竟如何?
在 OSWorld测试中,它在仅基于屏幕截图的任务类别中得分为14.9%,明显超越了排名第二的AI系统(7.8%)。
当允许更多操作步骤来完成任务时,Claude得分提高到了22.0%。
这表明模型与环境的多次交互,能够优化任务性能。
虽然这一结果比之前有了大幅提升,但仍然远低于人类72.36%的表现。
这也暗示了,Claude 3.5 Sonnet未来还有很大的改进空间。
毕竟,人类毫不费力完成的一些操作(滚动、拖动、缩放),目前对于Claude来说极具挑战。
在各项行业基准测试中,升级版Claude 3.5 Sonnet性能得到了全方位提升。
特别是,智能体编码、工具使用任务中取得显著突破。
论文地址:https://assets.anthropic.com/m/1cd9d098ac3e6467/original/Claude-3-Model-Card-October-Addendum.pdf
在编码能力方面,它在SWE-bench Verified测试中,性能从33.4%大幅提升至49.0%。
这超越了所有公开可用的模型——包括OpenAI o1-preview等推理模型和专为智能体编码设计的专门系统。
此外,在TAU-bench(一项评估智能体工具使用能力的基准测试)中,Claude 3.5 Sonnet也表现出色:
在零售领域的得分从62.6%提高到69.2%,在更具挑战性的航空领域则从36.0%跃升至46.0%。
从下表中,可以看出推理测试基准GPQA(Diamond)上,新版Claude 3.5 Sonnet大幅超越GPT-4o。
在视觉QA、数学推理、文档视觉问答、图表问答、科学表格基准测试中,Claude 3.5 Sonnet性能成为业界新标杆。
值得一提的是,新版Claude 3.5 Sonnet性能突破同时,仍保持了与前代模型相同的价格和运行速度。
一些早期测试用户的反馈,进一步印证了升级后Claude 3.5 Sonnet,在AI驱动编码领域实现「质」的飞跃。
GitLab:在DevSecOps任务测试中,发现Claude 3.5 Sonnet在不增加延迟的前提下,推理能力显著提升(各用例最高提升10%),使其成为驱动复杂软件开发流程的理想选择
Cognition:将新版Claude 3.5 Sonnet应用于自主AI评估,在编码、规划和问题解决等方面,相较前代模型均取得了实质性进步
The Browser Company:在使用该模型自动化网络工作流程时发现,Claude 3.5 Sonnet的表现超越了他们此前测试过的所有模型
此外,在安全部署前,Claude 3.5 Sonnet已经在美国AI安全研究所(US AISI)和英国安全研究所(UK AISI)进行了联合测试。
而且,经过自身评估,Anthorpic在「Responsible Scaling Policy」中制定的ASL-2标准仍然适用于新模型。
如前所述,升级版的Claude 3.5 Sonnet现在已经可以在网页、终端APP上使用了。
API的定价起始为每百万输入Token 3美元,每百万输出Token 15美元。
通过使用智能缓存技术可节省高达90%的成本,而使用批处理API则可节省50%成本。
Claude 3.5 Sonnet能够理解细微的指令和上下文,识别并纠正自身错误,还能从复杂数据中生成深入的分析和洞察。结合最先进的编码、视觉识别和写作能力,Claude 3.5 Sonnet可以被应用于各种场景。
- 模拟人类操作电脑
通过API集成Claude,开发者可以指导Claude像人类一样使用电脑——通过观察屏幕、移动鼠标、点击按钮和键入文字。Claude 3.5 Sonnet是首个能够以这种方式可靠使用电脑的前沿AI模型,虽然目前在公开测试阶段仍具实验性质,但其能力会随时间持续提升。
- 代码自动生成
Claude 3.5 Sonnet可以协助整个软件开发生命周期——从初始设计到错误修复,从系统维护到性能优化。可以直接将它被集成到产品中,或通过Claude.ai平台将其用作智能编码助手。
- 智能对话系统
凭借增强的推理能力和亲和、自然的语气,Claude 3.5 Sonnet非常适合开发需要跨系统连接数据并执行操作的智能对话系统。
- 智能知识问答
Claude 3.5 Sonnet具有大规模上下文处理能力和极低的幻觉率,使其成为处理大型知识库、文档和代码库问答任务的理想选择。
- 视觉信息提取
Claude 3.5 Sonnet能够轻松从图表、图形和复杂示意图等视觉材料中提取信息——这使其成为数据分析和数据科学任务的理想人工智能模型。
- 流程自动化
Claude 3.5 Sonnet能够实现重复性任务或流程的自动化。它具备业界领先的指令执行能力,能够处理复杂的流程和操作。
从上一代对标来看,Claude 3.5 Haiku称得上是「最小杯」。
这是Anthropic速度最快的模型。
它不仅保持乐了与Claude 3 Haiku相同的运行成本和相近的处理速度,还在各项技能全面提升。
甚至,在多项智能基准测试中,Claude 3.5 Haiku超越了上一代最强大的模型Claude 3 Opus。
同样,Claude 3.5 Haiku在编码任务上的表现尤为卓越。
比如,在SWE-bench Verified测试中,它取得了40.6%的高分,超越了许多使用公开可用的最先进模型的AI智能体——包括原始版本的Claude 3.5 Sonnet和GPT-4o。
Claude 3.5 Haiku具备了三点突出优势:
1. 低延迟响应
2. 更精准的指令执行能力
3. 更准确的工具使用
这些特性使得模型特别适用于,面向用户的产品开发、专门的子智能体任务处理、基于海量数据(如购买记录、价格信息或库存数据)生成个性化体验。
本月末,Claude 3.5 Haiku将在多个平台上推出,包括Anthropic API、Amazon Bedrock和谷歌云的Vertex AI。(最初会以纯文本模型形式推出,随后会加入图像输入功能)
Claude 3.5 Haiku的定价起始为每百万输入Token 0.25美元,每百万输出Token 1.25美元。
通过使用提示词缓存技术可节省高达90%的成本,而使用消息批处理API则可节省50%的成本。
凭借快速的处理速度、改进的指令执行能力和更准确的工具使用,Claude 3.5 Haiku非常适合面向用户的产品、专门的辅助任务,以及从海量数据中生成个性化体验。
- 代码自动补全
Claude 3.5 Haiku能够提供快速、准确的代码建议和补全,有效加速开发工作流程。特别适合那些希望简化编码过程并提高生产力的软件开发团队。
- 智能聊天机器人
借助增强的对话能力和快速的响应时间,Claude 3.5 Haiku在驱动能处理大量用户互动的响应式聊天机器人方面表现出色。对于需要可扩展互动能力的客户服务、电子商务和教育平台来说,它尤其有价值。
- 数据提取和自动标注
Claude 3.5 Haiku能高效处理和分类信息,在快速数据提取和自动标注任务中表现优异。这一能力对于需要处理金融、医疗保健和研究领域大量非结构化数据的组织特别有用。
- 自动实时内容审核
Claude 3.5 Haiku通过其改进的推理和内容理解能力,提供可靠、即时的内容审核服务。这对于那些需要大规模维护安全、适当内容的社交平台、在线社区和媒体组织来说极具价值。
Anthropic表示,人类轻松执行的操作——滚动、拖拽、缩放,目前对Claude来说仍然很有挑战性。
而对于垃圾邮件、虚假信息、欺诈这类风险,公司正在寻找安全部署的策略,比如开发了识别系统,检测是否发生危害。
Anthropic在工具使用和多模态的工作,为AI识别和解释图像奠定了基础。
在此基础上,Claude还需要推理如何以及何时根据屏幕内容执行操作。
为此,研究者训练Claude准确计算像素,从而完成命令,因为它必须计算出需要垂直或水平移动鼠标指针多少像素,才能点击正确的位置。
在此期间,Claude迅速将学习成功从计算器和文本编辑器这类简单软件的训练中,迁移到了其他应用(注意,期间它不允许联网)。
这种训练让它能将用户指令转化为一系列逻辑步骤,执行操作。遇到障碍时,甚至还能自我纠正、重试任务。
Anthropic开发者关系主管Alex Albert还分享了,团队在开发计算机使用功能时的一个有趣故事。
当时,他们举行了一场工程师的bug bash(漏洞排查活动),以确保发现API所有潜在的问题。
这意味着,要把一群工程师关在一个房间里几个小时。
当时,恰好大家都饿了。其中一位工程师灵机一闪,「不如让Claude来个实战演习,自主打开DoorDash帮我们订餐」。
没想到,大约一分钟后,Claude为工程师们定来了披萨。
AI操作电脑能力代表了一种全新的人工智能开发方法。
迄今为止,LLM开发者一直在努力使工具适应模型,创造特殊的环境,让AI使用专门设计的工具来完成各种任务。
现在,Anthropic「反其道而行之」——他们选择让模型去适应工具。也就是,Claude能像人类一样,融入我们日常使用的计算机环境,直接使用现有的软件。
虽然Claude已经达到了当前的最高水平,但它的操作仍然相对缓慢且容易出错。我们日常使用电脑时的许多操作,如拖拽、缩放等,Claude都还无法做到。
此外,Claude目前观察屏幕的方式类似于快速翻阅一本「画册」——通过连续截图并拼接在一起,而不是观察连续的视频流。这意味着它可能会错过一些短暂的动作或通知。
有趣的是,Anthropic在录制Demo时,还遇到了一些有趣的小插曲。
比如,在一次演示中,Claude不小心点击停止了一个长时间运行的屏幕录制,导致所有录像都付诸东流。
而在另一次编码演示中,Claude则突然「走神」,开始饶有兴趣地浏览起黄石国家公园的照片。
总之,Claude如今的表现让人对未来充满期待:AI操作电脑的能力将神速进步,那一天,软件开发小白都能轻松使用它。
参考资料:
https://www.anthropic.com/news/3-5-models-and-computer-use
文章来自于微信公众号“新智元”,作者“新智元”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AIEditor.dev是一个开箱即用、并且支持所有前端框架、支持 Markdown 书写模式的AI富文本编辑器。
项目地址:https://github.com/aieditor-team/AiEditor?tab=readme-ov-file
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。
在线使用:https://ffa.chat/
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0