此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。
来自主题: AI技术研报
4453 点击 2024-05-20 18:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。
杀疯了！一夜之间，全球最强端侧多模态模型再次刷新，仅用8B参数，击败了多模态巨无霸Gemini Pro、GPT-4V。而且，其OCR长难图识别刷新SOTA，图像编码速度暴涨150倍。这是国产头部大模型公司献给开发者们最浪漫的520礼物。
ChatGPT以及硅谷AI大战终于升级，长出了“眼睛”和“嘴”。5月中旬，OpenAI和谷歌前后发布重磅AI多模态更新，从基于文字交互的ChatGPT全面升级，实现了“声音，文字和视觉”三者全面结合的人工智能新交互功能，而这，也标志着硅谷科技巨头的生成式AI之战正式进入到第二轮。新一轮竞争，只会更加激烈、更加全面。
OpenAI半小时的发布会让很多人第一反应是直呼「失望」，但随着官网放出更多demo以及更多网友开始试用，大家才发现GPT-4o真的不可小觑，不仅在各种基准测试中稳拿第一，而且有很多发布会从未提及的惊艳功能。
许多临床任务需要了解专业数据，例如医学图像、基因组学，这类专业知识信息在通用多模态大模型的训练中通常不存在。
与之前的版本相比，GPT-4o最大改进在于它在整合方面的精细度，它将所有模态集成在一个端到端的模型中（All in One）。
本文是对发表于模式识别领域顶刊Pattern Recognition 2024的最新综述论文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解读。
多模态 AI 无疑是今年大模型的发展重点之一，Sora、Midjourney、Suno 等文生视频、文生图、文生音乐赛道的代表产品也是用户的关注热点。
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。
多模态融合是多模态智能中的基础任务之一。