苹果多模态模型大升级！文本密集、多图理解，全能小钢炮
苹果多模态模型大升级！文本密集、多图理解，全能小钢炮多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
来自主题: AI资讯
5182 点击 2024-10-14 09:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
5 大证据显示，LLM 在推理复杂问题时非常脆弱。
该研究主要探讨了大语言模型的全局剪枝方法，旨在提高预训练语言模型的效率。该成果的发表为大模型的剪枝与优化研究提供了新的视角，并在相关领域具有重要的应用潜力。
大语言模型市场的整合与差异：大语言模型市场存在整合的趋势。一方面，人工智能发展的基础产业是资本密集型的，市场整合对于大语言模型市场的资本支撑是必要的。另一方面，为尽可能提高算法的泛化能力，单个大语言模型也需要集成多种创新功能。市场集中度的提高使得企业需要进一步考虑大语言模型的差异化。
准确的统计数据、时效性强的信息，一直是大语言模型产生幻觉的重灾区。谷歌在近日推出了自己筹划已久的大型数据库Data Commons，以及在此基础上诞生的大模型DataGemma。
大语言模型（Large Language Models, LLMs）的强大能力推动了 LLM Agent 的迅速发展。围绕增强 LLM Agent 的能力，近期相关研究提出了若干关键组件或工作流。然而，如何将核心要素集成到一个统一的框架中，能够进行端到端优化，仍然是一个亟待解决的问题。
中科大成果，拿下图学习“世界杯”单项冠军！ 由中科大王杰教授团队（MIRA Lab）提出的首个具有最优性保证的大语言模型和图神经网络分离训练框架，在国际顶级图学习标准OGB（Open Graph Benchmark）挑战赛的蛋白质功能预测任务上斩获「第一名」，该纪录从2023年9月27日起保持至今。
在医疗领域中，大语言模型已经有了广泛的研究。然而，这些进展主要依赖于英语的基座模型，并受制于缺乏多语言医疗专业数据的限制，导致当前的医疗大模型在处理非英语问题时效果不佳。
视觉数据的种类极其多样，囊括像素级别的图标到数小时的视频。现有的多模态大语言模型（MLLM）通常将视觉输入进行分辨率的标准化或进行动态切分等操作，以便视觉编码器处理。然而，这些方法对多模态理解并不理想，在处理不同长度的视觉输入时效率较低。
扩展多模态大语言模型（MLLMs）的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化，包括模型架构、数据构建和训练策略，尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。