20个样本，搞定多模态思维链！UCSC重磅开源：边画框，边思考
20个样本，搞定多模态思维链！UCSC重磅开源：边画框，边思考GRIT能让多模态大语言模型（MLLM）通过生成自然语言和图像框坐标结合的推理链进行「图像思维」，仅需20个训练样本即可实现优越性能！
来自主题: AI技术研报
7268 点击 2025-06-19 11:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GRIT能让多模态大语言模型（MLLM）通过生成自然语言和图像框坐标结合的推理链进行「图像思维」，仅需20个训练样本即可实现优越性能！
LLM 和 agent 最关键的能力之一就是基于 context 来准确完成用户的任务，而最真实、鲜活的 context 往往不在 Google doc 等文档中，而是存在人与人的对话中，纪要就承载着这一类高价值信息。
还在靠“开盲盒”选择大模型？ 来自弗吉尼亚理工大学的研究人员推出了个选型框架LensLLM
近年来，大型语言模型（LLM）在处理复杂任务方面取得了显著进展，尤其体现在多步推理、工具调用以及多智能体协作等高级应用中。这些能力的提升，往往依赖于模型内部一系列复杂的「思考」过程或 Agentic System 中的 Agent 间频繁信息交互。
原生并行生成不仅仅是加速，它是我们对 LLM 推理思考方式的根本转变。
LLM Ensemble（大语言模型集成）在近年来快速地获得了广泛关注。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。大语言模型的广泛可得性，以及其开箱即用的特性和各个模型所具备的不同优势，极大地推动了 LLM Ensemble 领域的发展。
思维链（Chain of Thought, CoT）推理方法已被证明能够显著提升大语言模型（LLMs）在复杂任务中的表现。而在多模态大语言模型（MLLMs）中，CoT 同样展现出了巨大潜力。
本文深入剖析 MiniCPM4 采用的稀疏注意力结构 InfLLM v2。作为新一代基于 Transformer 架构的语言模型，MiniCPM4 在处理长序列时展现出令人瞩目的效率提升。传统Transformer的稠密注意力机制在面对长上下文时面临着计算开销迅速上升的趋势，这在实际应用中造成了难以逾越的性能瓶颈。
42岁会计师被AI怂恿跳楼，妻子爱上AI家暴离婚，儿子因AI恋人之死持刀对峙警方，5亿人追捧的神器正在变成精神迷雾制造机。当算法学会无限迎合，我们离「皇帝的新LLM」还有多远？
近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。