数据邪修大法好：仅用文本数据就能预训练多模态大模型
数据邪修大法好：仅用文本数据就能预训练多模态大模型没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自主题: AI技术研报
8304 点击 2026-03-03 14:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自中国人民大学与阿里巴巴通义实验室的研究团队提出了 IterResearch，一种全新的迭代式深度研究范式。通过马尔可夫式的工作空间重构，IterResearch 让 Agent 在仅 40K 上下文长度下完成了 2048 次工具交互且性能不衰减，在 BrowseComp 上从 3.5% 一路攀升至 42.5%。
强化学习已经成为大模型后训练阶段的核心方法之一，但一个长期存在的难题始终没有真正解决：现实环境中的反馈往往稀疏且延迟，模型很难从简单的奖励信号中推断出应该如何调整行为。
为了松绑参数与计算量，MoE 曾被寄予厚望 。它靠着稀疏激活的专家子网络，在一定程度上实现了模型容量与计算量的解耦 。然而，近期的研究表明，这并非没有代价的免费午餐 ：稀疏模型通常具有更低的样本效率 ；随着稀疏度增大，路由负载均衡变得更加困难 ，且巨大的显存开销和通信压力导致其推理吞吐量往往远低于同等激活参数量的 dense 模型 。
仅用两月，本地AI框架OpenClaw击败Linux，登顶GitHub星标榜！本文回顾了OpenClaw爆火之路，及其背后反映的开源社区趋势变化。
OpenAI 意外泄露 GPT-5.4！新版凭 200 万 Tokens 与「状态化 AI」实现跨会话持久记忆，并支持全分辨率视觉直读。AI 将从聊天工具向「全自动代理」进化，彻底重塑工作流并引爆底层硬件内存之战。
比如他描述Elys为「光屁股版的即刻」。前两天又锐评Openclaw，「我觉得这是一个情感陪伴产品」。我深刻怀疑，松辽平原存在一种魔力，让东北孩子说话都像小嘴淬了蜜。
今天（3月2日），MiniMax（00100.HK）发布了2025年全年业绩。这是全球第一份来自独立大模型创业公司的年报，数字先给：总收入 $7,904万，同比 +158.9%，毛利率 25.4%，净亏损（经过调整） $2.51亿，去年同期 $2.44亿，变化不大
OpenClaw 最近火到什么程度？火到衍生出一门上门安装的生意。 海外代装平台 SetupClaw 已经给出明码标价：托管安装，3000 美元；含 Mac mini 硬件的远程配置，5000 美元；
据悉，专注视频后期 AI Agent 的 Vattention（时空注力）已完成数百万美元种子轮融资，由青锐资本、百度风投、常垒资本联合投资。该公司由计算机科班出身、曾任阿里淘系核心产品总监、沉浸专业视频制作领域多年的连续创业者钟超（花名 船长）创立。本轮融资将主要用于核心团队组建与技术研发，推动其三大核心引擎（MACE、ACE、PACE）的产品化落地。