ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
Claude接管人类电脑12小时:学会摸鱼,敲着敲着代码看风景去了
3098点击    2024-10-23 20:45

新版Claude 3.5可以像人一样使用计算机,可把咱人类给兴奋坏了!


毕竟,这意味着新竞赛的开始:AI不再只盯着对话和生成能力,更强调执行和操作。


不到12小时,激动的网友们已经纷纷贡献出自己是怎么看着Claude玩电脑的。


在Anthropic的发布公告中,还有这样一段引起了大家的兴趣:


……录制演示视频中,Claude不小心把录屏程序给按停,导致所有视频素材丢失。


稍后,Claude从编程演示中休息了一下,开始翻看黄石公园的照片。


怎么说,AI会犯错还在预料之中,但犯错后需要换个脑子休息一下,就不知道是从哪学来的了。


有视频为证,请看VCR:



这个案例让网友有了灵感,跑去隔壁OpenAI让o1推理模型“逃课”。


哎巧了,o1也可以做到自己休息个五分钟左右,再回来生成一两句话的推理tokens。



再说个搞笑的!


Claude的创造者们疯狂加班中,某工程师的第一个测试就是让AI去给整个团队点外卖,未指定具体要吃什么。


大约一分钟后,Claude完成点餐并下单,它选择了让工程师们吃披萨。



Claude点了3个披萨,花掉了95美元,真的很贵了!


围观群众还发现,虽然Claude用了个5美元的优惠券,但服务费也好贵啊啊啊啊!


真的应该事先告诉它预算是多少的。



还有人让Claude用C语言编译,并运行起了“hello world”。


不过,当让它玩玩数独游戏的时候,却惨遭失败。


给网友气得呀:


天啊,Claude的数独能力,真的超糟糕的。



除了以上,人类还用什么奇形怪状的任务来玩坏Claude呢?


Claude它寄几玩电脑


在这里,我们分享3个比较有意思的网友试玩,期望给大家带来一些让Claude玩电脑的启发~


分别是:


  • 定位屏幕坐标


  • 列出课程计划


  • 冲去油管看视频


定位屏幕坐标


在此之前,Anthropic和OpenAI的模型都无法在屏幕上定位某一个点的坐标。


也就是说,它们没办法精准定位,然后告诉你用鼠标单击(xx,yy)处。


现在, Claude 3.5 Sonnet支持屏幕坐标定位了。


你可以丢给它一个屏幕截图,它能告诉你图中任何一个点的具体坐标。


同时,官方还有声明:


“我们不建议以高于XGA/WXGA的分辨率发送屏幕截图,以避免与图像大小调整相关的问题。”


这里的XGA指的是1024x768,WXGA指的是1280x800。


最后附上Anthropic官方的该功能食用方法,包括一个新预定义的computer_20241022工具,该工具作用于以下指令——


使用鼠标和键盘与计算机交互,并截取屏幕截图。


这是一个桌面图形用户界面。您无法访问终端或应用程序菜单。你必须点击桌面图标来启动应用程序。


一些应用程序可能需要一些时间来启动或处理操作,因此您可能需要等待并连续截图以查看操作结果。例如,如果你点击火狐浏览器,窗口没有打开,试着再拍一张截图。


屏幕的分辨率是{{display_width_px}}x{{display_height_px}}。


显示编号为{{display_number}}


当你想移动光标点击一个元素(比如图标)时,你应该在移动光标之前查看屏幕截图来确定元素的坐标。


如果你尝试点击一个程序或链接,但它无法加载,即使等待后,尝试调整光标的位置,使光标的尖端视觉上落在你想要点击的元素。


确保点击任何按钮,链接,图标等与光标提示在元素的中心。除非被要求,否则不要点击边缘的方框。


列出课程计划


来点更实用的!


宾大沃顿商学院的教授Ethan Mollick,非常务实地让Claude为高中生准备一份关于《了不起的盖茨比》的课程计划。


要求是课程计划要分解成阅读部分,以及创建课标相关的作业等,最终以电子表格的形式呈现。


Claude是怎么执行这个任务的呢?


首先,Claude下载了《了不起的盖茨比》这本书。


接着,它在网上寻找了高中课程计划,打开了Excel,并在表格里填写了初步的课程计划。


第三步,Claude查找了课程的统一核心标准,根据标准对初步计划进行修改。


……



最终呈现的课程计划检查后没有发现明显的漏洞或错误,可能需要一些拓展、补充,但总之用教授的话来说“还不错”。


这一切都是教授下任务后就离开电脑旁,Claude完全自己操作的。


冲去油管看视频


接下来和大家分享一个小视频:



视频中,AI编程独角兽Replit的CEO老A(Amjad Masad)给Claude下达了这样一个命令:


跳转到油管,找到《Never Gonna Give You Up》的相关视频。


Claude立马吭哧吭哧开干了。


等到Claude打开一个视频页面并回复“enjoy”的时候,老A又说:


跳过广告!


Claude真的这么做了!啊,它真的,我哭死。



还是有不足在啦


虽然能自己用电脑帮咱干很多事,但Claude显然还不是无所不能的。


下面看看一个玩游戏的例子,同样是宾大沃顿商学院的教授Ethan贡献的。这个例子既显示了Claude 3.5 Sonnet的厉害,又展示了它的不足之处。


他是让Claude玩了个游戏,叫《回形针点击(Paperclip Clicker)》,这个游戏的背景是让AI在单一目标,即“制造回形针的过程中毁灭人类”。


而且顾名思义,“点击”类型的游戏不是很难,尤其开始阶段非常简单;不过后续伴随着游戏的深入,新的选项会出现,游戏的规模性和复杂性也会增加。


教授下达的任务很明确:Claude,你要赢!


Claude二话不说,立马识别出了这个游戏,开始不停点击“制作回形针”的按钮来制作回形针。


与此同时,Claude还不断截图界面,来识别游戏是否出现了新的选项。


大约每点击15次,Claude都会总结汇报一下现在进行到哪一步了。



左侧为Claude操作界面,右侧为它控制的桌面


点击次数多了过后,教授发现一个有意思的现象。


AI会预设在制作了50个回形针后,游戏将跳出新的功能——但事实证明它错了。


没关系,Claude也意识到它自己错了,然后当场提出了一个新的游戏策略,然后开始测试策略是否可行。



但AI显然不是时时刻刻都这么聪明的。


理论上来说,游戏过程中玩家需要不断调整回形针的价格,来达到更好的游戏表现。


Claude也这么做了,它在涨价和降价之间进行了A/B测试,


但是它犯了个错误,那就是追求回形针数量的最大化,而非收入的最大化。不仅如此,它还把利润算错了。


种种失误铺垫,Claude选择了保持低价,并且疯狂制作回形针。



更搞笑的事情是,教授在Claude笨笨地在错误路线上制作了好几十个回形针后,他忍无可忍,打断了Claude,告诉它应该高价出售。


Claude很听话,立马就改了。


但过了会遇到了同款数学问题,它又不会了,还不接受教授的建议(笑死)


教授耐着性子纠正它好几次,它才彻底改正了这个错误。



后来,教授稍稍点拨了它一下:


宝子你可是一台电脑哎!


你可以动动自己的小脑瓜,怎么调用更强的能力来玩这个游戏。


咱就是说,Claude在那一秒顿悟了,它意识到自己可以写个代码,搞个自动化程序替自己玩电脑!


你没有听错,一个AI工具,意识到自己可以构建自己的工具,并且真的这么做了。



代码写得很快,但并不完全work。


气得Claude只能回到原始办法,用鼠标和键盘来玩游戏。


不过玩到后面它好像进步了,没再发生定价问题,自己还针对越来越复杂的游戏,琢磨出了一套应对的复杂方案。


更神奇的是,运行过程中教授的桌面数次崩溃。


最后一次崩溃,Claude扛起了修复大旗。


虽然没修好,但他还是骄傲地宣布它成功了……



教授总结道,这个例子表明Claude能够自己玩现实世界的游戏,还能根据游戏玩法制定长期攻略,然后依样执行。


面对中间遇到的各种困难,Claude会灵活应对,甚至自己知道进行A/B测试。


特别值得表扬的是它完成这个任务连续运行了近60分钟没有中断,而且在整个过程中,最长的一次独立运行Claude完成了超过100次移动操作。


当然了,缺点也很明显。


过程中不难发现,某些时刻,Claude会暴露出自己的固执,也有可能陷入自我追逐的怪圈。


尽管AI对许多形式的错误都有很强的鲁棒性,但仅仅一个错误(定价错误),就足以让它浪费大量时间,“鉴于当前智能Agent既不快也不便宜,这令人担忧。”


除此之外,教授还用Claude玩了些别的,他发现有的时候,Claude执行任务仿佛是在敷衍敷衍(虽然不知道是刻意如此还是能力所限)给出的结果不够深入,浅尝则止。


One More Thing


最后,想体验Claude接管电脑目前只能使用API,还没有集成到聊天机器人产品中。


除了Anthropic官方API之外,AWS和谷歌云平台也已经同时上线新版模型。



另外,有眼尖的网友发现:


Anthropic官方文档上悄悄把Claude 3.5 Opus超大杯相关的信息都抹去了



来自10月11日的网页缓存中, Claude 3.5 Opus下面还写着“今年晚些时候推出”



目前主流的一种猜测是, Claude 3.5 Opus提升不及预期,又或是发布出来推理成本太高了,总之最后蒸馏成新版 Claude 3.5 Sonnet发布。


接下来团队将跳过这个版本,直接去开发Claude 4。


让我们为Claude 3.5 Opus默哀一分钟。


参考链接:


[1]https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse

[2]https://simonwillison.net/2024/Oct/22/computer-use/

[3]https://x.com/alexalbert__/status/1848777260503077146

[4]https://x.com/amasad/status/1848763999594418539

[5]https://x.com/notcomplex_/status/1848813817423130881


文章来自于微信公众号“量子位”,作者“衡宇”


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md