让大模型理解手机屏幕，苹果多模态Ferret-UI用自然语言操控手机
让大模型理解手机屏幕，苹果多模态Ferret-UI用自然语言操控手机此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。
来自主题: AI技术研报
5144 点击 2024-05-20 18:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。
近期，多模态大模型 (MLLM) 在文本中心的 VQA 领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V 和 Gemini，甚至在某些方面展现了超越人类能力的表现。
近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。
在大算力的数字化时代下，大语言模型（LLM）以其令人瞩目的发展速度，正引领着技术的潮流
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。
近日，北大、斯坦福、以及Pika Labs发布了新的开源文生图框架，利用多模态LLM的能力成功解决文生图两大难题，表现超越SDXL和DALL·E 3
随着多模态大语言模型（Multimodal Large Language Model，MLLM）的快速发展，以 MLLM 为基础的多模态 agent 逐渐应用于各种实际应用场景中，这使得借助多模态 agent 实现手机操作助手成为了可能。
马里兰大学联合北卡教堂山发布首个专为多模态大语言模型（MLLM）设计的图像序列的基准测试Mementos，涵盖了真实世界图像序列、机器人图像序列，以及动漫图像序列，用4761个多样化图像序列的集合，全面测试MLLM对碎散图像序列的推理能力！
最新科学大模型浦科化学（ChemLLM），发布即开源！
OpenAI GPT-4V 和 Google Gemini 都展现了非常强的多模态理解能力，推动了多模态大模型（MLLM）快速发展，MLLM 成为了现在业界最热的研究方向。