当大语言模型突破了 “理解与生成” 的瓶颈，Agent 迅速成为 AI 落地的主流形态。从智能客服到自动化办公，几乎所有场景都需要 Agent 来承接 LLM 能力、执行具体任务。
按从左到右的顺序依次生成下一个 token 真的是大模型生成方式的最优解吗？最近，越来越多的研究者对此提出质疑。其中，有些研究者已经转向一个新的方向 —— 掩码扩散语言模型（MDLM）。
家人们，不知道你有没有试过，在和 AI 聊天时，冷不丁地问一句： “你刚刚在想什么？”
大语言模型（LLM）虽已展现出卓越的代码生成潜力，却依然面临着一道艰巨的挑战：如何在有限的计算资源约束下，同步提升对多种编程语言的理解与生成能力，同时不损害其在主流语言上的性能？
当下主流的视觉语言模型（Vision-Language Models, VLM），通常都采用这样一种设计思路：将预训练的视觉编码器与大语言模型通过投影层拼接起来。这种模块化架构成就了当前 VLM 的辉煌，但也带来了一系列新的问题——多阶段训练复杂、组件间语义对齐成本高，不同模块的扩展规律难以协调。
大语言模型（LLMs）推理能力近年来快速提升，但传统方法依赖大量昂贵的人工标注思维链。中国科学院计算所团队提出新框架PARO，通过让模型学习固定推理模式自动生成思维链，只需大模型标注1/10数据就能达到全量人工标注的性能。这种方法特别适合像金融、审计这样规则清晰的领域，为高效推理监督提供了全新思路。
蚂蚁集团这波操作大圈粉！智东西10月28日报道，10月25日，蚂蚁集团在arXiv上传了一篇技术报告，一股脑将自家2.0系列大模型训练的独家秘籍全盘公开。今年9月至今，蚂蚁集团百灵大模型Ling 2.0系列模型陆续亮相，其万亿参数通用语言模型Ling-1T多项指标位居开源模型的榜首
当强大的多模态大语言模型应用于地球科学研究时，它面临着无法忽视的 「阿克琉斯之踵」
2023 年的秋天，当全世界都在为 ChatGPT 和大语言模型疯狂的时候，远在澳大利亚悉尼的一对兄弟却在为一个看似简单的问题发愁：为什么微调一个开源模型要花这么长时间，还要用那么昂贵的 GPU？
近日，来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。
