搜索
当前，多模态大模型驱动的图形用户界面（GUI）智能体在自动化手机、电脑操作方面展现出巨大潜力。然而，一些现有智能体更类似于「反应式行动者」（Reactive Actors），主要依赖隐式推理，面对需要复杂规划和错误恢复的任务时常常力不从心。
继 BrowserUse 和 ComputerUse 席卷 AI 自动化领域后，手机操作类项目终于迎来重磅选手：DroidRun！开源 AI 手机操作神器，解锁 Android 自动化新时代！
移动GUI自动化智能体V-Droid采用「验证器驱动」架构，通过离散化动作空间并利用LLM评估候选动作，实现了高效决策。在AndroidWorld等多个基准测试中任务成功率分别达到59.5%、38.3%和49%，决策延迟仅0.7秒，接近实时响应。
随着人工智能和大语言模型（LLMs）的不断突破，如何将其优势赋能于现实世界中可实际部署的高效工具，成为了业界关注的焦点。
Manus的火爆带热了多个技术概念，Computer Use Agent就是其中之一。但要探讨这种“电脑使用”智能体，还得从Claude 3.5 Sonnet说起。
人工智能正迎来前所未有的变革，其中，大语言模型（LLM）的崛起推动了智能系统从信息处理向自主交互迈进。
OmniParser V2可将屏幕截图转换为结构化元素，帮助LLM理解和操作GUI；在检测小图标和推理速度上显著提升，延迟降低60%，与多种LLM结合后表现优异。
图形用户界面（Graphical User Interface, GUI）作为数字时代最具代表性的创新之一，大幅简化了人机交互的复杂度。
Ferret-UI 2 是苹果研究团队最新发表的一款先进的多模态大型语言模型（MLLM），旨在实现跨多个平台的通用用户界面（UI）理解。
OmniParser 是由微软研究院提出的一个创新性工具，旨在通过解析用户界面截图来增强基于视觉的图形用户界面（GUI）代理的性能。