指代分割 (Referring Image Segmentation，RIS) 是一项极具挑战性的多模态任务，要求算法能够同时理解精细的人类语言和视觉图像信息，并将图像中句子所指代的物体进行像素级别的分割。
奔向通用人工智能，大模型又迈出一大步。
最近，一家名为 Reka 的初创公司发布了一款多模态语言模型——Reka Core，这是他们自2022 年成立以来第三款模型。
近期，多模态大模型 (MLLM) 在文本中心的 VQA 领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V 和 Gemini，甚至在某些方面展现了超越人类能力的表现。
科幻大片中的AR黑科技，竟走进了现实！ 就在刚刚，Meta自家的雷朋智能眼镜，已经开始支持多模态版的Llama 3了！要知道，Llama 3的开源版本还没支持多模态呢。
近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。
2023年12月，宁德时代低调宣布在香港设立国际研发中心； 2024年3月11日，作为中国科学院在香港设立的首个国家级信息研发机构，中国科学院香港创新研究院人工智能与机器人创新中心发布了医疗多模态大模型CARES Copilot 1.0；
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。
近日，由DeepMind、谷歌和Meta的研究人员创立的AI初创公司Reka，推出了他们最新的多模态语言模型——Reka Core
MiniCPM 系列的最新多模态版本 MiniCPM-V 2.0。该模型基于 MiniCPM 2.4B 和 SigLip-400M 构建，共拥有 2.8B 参数。MiniCPM-V 2.0 具有领先的光学字符识别（OCR）和多模态理解能力
