数据邪修大法好：仅用文本数据就能预训练多模态大模型
数据邪修大法好：仅用文本数据就能预训练多模态大模型没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自主题: AI技术研报
8725 点击 2026-03-03 14:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
刚刚，毕业清华大学数学系，曾在Meta FAIR工作3.75年、主导过SAM与Llama多项核心工作的研究员张鹏川（Pengchuan Zhang）宣布离职。他的下一站，是来到OpenAI，投身于世界模拟与机器人学（World Simulation and Robotics）方向的研究。
AI 需要整个互联网来学习，而人类只需要一个童年。人类在成年之前，所接触的语言、文本与符号，顶多只有几十亿 token，相差几个数量级。正是从这个问题出发，一家几乎没有产品、没有盈利、也不急于商业化的 AI 创业公司，从 GV、Sequoia 和 Index 拿到了 1.8 亿美元融资，并获得了 Andrej Karpathy 的公开力挺。
交互、计算解耦后，穿戴设备只需要做纯交互终端就够了，手机理论上可以做得更薄，iPhone Air可以看作是在做这种准备；
今天一早，数码博主 @智慧皮卡丘透露了关于 OpenAI「To-go」硬件项目的最新细节。该硬件已被确认是一款取代 AirPods 的特殊音频产品，内部代号为「Sweetpea」（香豌豆）。
当全市场都在用Agent炒股，人类的唯一胜算在哪？
清华大学智能产业研究院（AIR）联合清华大学生命学院、清华大学化学系在Science上发表论文：《深度对比学习实现基因组级别药物虚拟筛选》。团队研发了一个AI驱动的超高通量药物虚拟筛选平台DrugCLIP。
在近期43 Talks与中国最大的00后创业组织wteam联合举办的2025 XAIR大会访谈现场，这位00后创业者分享了他正在做的一个大胆尝试：在软件吞噬一切的时代，造一块笨拙的硬件，为在原子化社会中躺不平、卷不动的Z世代青年重建一座音乐创作的精神避难所。
近日，师从新晋诺贝尔化学奖得主奥马尔·亚吉（Omar M. Yaghi）、目前在美国加州大学伯克利分校读博的荣自超，带领一个跨国际的研究团队，打造出名为AIRES （algorithmic iterative reticular synthesis）的机器学习指导的高通量实验平台，
近日，北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架——Fairy2i。该框架通过广泛线性表示将实数模型无损转换为复数形式，再结合相位感知量化与递归残差量化，实现了在仅2比特的情况下，性能接近全精度模型的突破性进展。