数据邪修大法好：仅用文本数据就能预训练多模态大模型
数据邪修大法好：仅用文本数据就能预训练多模态大模型没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自主题: AI技术研报
8005 点击 2026-03-03 14:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自中国人民大学与阿里巴巴通义实验室的研究团队提出了 IterResearch，一种全新的迭代式深度研究范式。通过马尔可夫式的工作空间重构，IterResearch 让 Agent 在仅 40K 上下文长度下完成了 2048 次工具交互且性能不衰减，在 BrowseComp 上从 3.5% 一路攀升至 42.5%。
强化学习已经成为大模型后训练阶段的核心方法之一，但一个长期存在的难题始终没有真正解决：现实环境中的反馈往往稀疏且延迟，模型很难从简单的奖励信号中推断出应该如何调整行为。
为了松绑参数与计算量，MoE 曾被寄予厚望 。它靠着稀疏激活的专家子网络，在一定程度上实现了模型容量与计算量的解耦 。然而，近期的研究表明，这并非没有代价的免费午餐 ：稀疏模型通常具有更低的样本效率 ；随着稀疏度增大，路由负载均衡变得更加困难 ，且巨大的显存开销和通信压力导致其推理吞吐量往往远低于同等激活参数量的 dense 模型 。
仅用两月，本地AI框架OpenClaw击败Linux，登顶GitHub星标榜！本文回顾了OpenClaw爆火之路，及其背后反映的开源社区趋势变化。
当传统媒体还在急于拼凑前线的碎片，当西装革履的智库专家还在连夜召开研讨会时，一个残酷的现实已经摆在所有人面前：在信息爆炸的地缘政治博弈中，如果你还在依赖人工分析和新闻推送来观察一场战争，你已经彻底沦为信息差的最底端。
OpenAI 意外泄露 GPT-5.4！新版凭 200 万 Tokens 与「状态化 AI」实现跨会话持久记忆，并支持全分辨率视觉直读。AI 将从聊天工具向「全自动代理」进化，彻底重塑工作流并引爆底层硬件内存之战。
不卖关子，它正是由上海科学智能研究院（上智院）联合复旦大学最新发布的超级科研合伙人——大圣。是一个系统级的、面向科学探索的高能动性智能体，致力于持续推动科研范式变革。
2月13日，OpenClaw官方的博文提到，一个由OpenClaw驱动的机器人证明了自主智能体在预测市场的强大潜力——单周狂揽11.5万美元利润。1月底，Polymarket也发布过一条有趣的帖子：Agent们正在Polymarket上进行交易，试图补贴自己的token成本。
「Her」的实体化在所难免。 作者｜靖宇 在斯派克 ·琼斯执导的电影《Her》里，影帝华金·菲尼克斯饰演的男主人公，把手机揣在上衣兜里，开启摄像头，来让 AI 助手 Smantha 能看到外部世界。