嚯！大语言扩散模型来了，何必只预测下一个token | 人大高瓴&蚂蚁
嚯！大语言扩散模型来了，何必只预测下一个token | 人大高瓴&蚂蚁用扩散模型替代自回归，大模型的逆诅咒有解了!
来自主题: AI技术研报
6925 点击 2025-02-18 14:43
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
用扩散模型替代自回归，大模型的逆诅咒有解了!
用代码训练大模型思考，其他方面的推理能力也能提升。
尽管多模态大模型在通用视觉理解任务中表现出色，但不具备细粒度视觉识别能力，这极大制约了多模态大模型的应用与发展。针对这一问题，北京大学彭宇新教授团队系统地分析了多模态大模型在细粒度视觉识别上所需的 3 项能力：对象信息提取能力、类别知识储备能力、对象 - 类别对齐能力，发现了「视觉对象与细粒度子类别未对齐」
这次不是卷参数、卷算力，而是卷“跨界学习”——
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
自然语言 token 代表的意思通常是表层的（例如 the 或 a 这样的功能性词汇），需要模型进行大量训练才能获得高级推理和对概念的理解能力，
问题挺严重，大模型说的话可不能全信。
人类智慧的一大特征是能够分步骤创造复杂作品，例如绘画、手工艺和烹饪等，这些过程体现了逻辑与美学的融合。
最新大语言模型推理测试引众议，DeepSeek R1常常在提供错误答案前就“我放弃”了？？ Cursor刚刚参与了一项研究，他们基于NPR周日谜题挑战（The Sunday Puzzle），构建了一个包含近600个问题新基准测试。
7B大小的视频理解模型中的新SOTA，来了！