ChatGPT后训练方法被OpenAI离职联创公开，PPT全网转～
ChatGPT后训练方法被OpenAI离职联创公开，PPT全网转～离开OpenAI后，他们俩把ChatGPT后训练方法做成了PPT，还公开了～
来自主题: AI资讯
2492 点击 2025-02-19 11:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
离开OpenAI后，他们俩把ChatGPT后训练方法做成了PPT，还公开了～
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
我们正见证一场静默的推理革命。传统AI训练如同盲人摸象，依赖碎片化文本拼凑认知图景，DeepSeek-AI团队的CODEI/O范式首次让机器真正"理解"了推理的本质——它将代码执行中蕴含的逻辑流，转化为可解释、可验证的思维链条，犹如为AI装上了解剖推理过程的显微镜。
RedStone是一个高效构建大规模指定领域数据的处理管道，通过优化数据处理流程，从Common Crawl中提取了RedStone-Web、RedStone-Code、RedStone-Math和RedStone-QA等数据集，在多项任务中超越了现有开源数据集，显著提升了模型性能。
强化学习训练数据越多，模型推理能力就越强？新研究提出LIM方法，揭示提升推理能力的关键在于优化数据质量，而不是数据规模。该方法在小模型上优势尽显。从此，强化学习Scaling Law可能要被改写了！
用扩散模型替代自回归，大模型的逆诅咒有解了!
用代码训练大模型思考，其他方面的推理能力也能提升。
尽管多模态大模型在通用视觉理解任务中表现出色，但不具备细粒度视觉识别能力，这极大制约了多模态大模型的应用与发展。针对这一问题，北京大学彭宇新教授团队系统地分析了多模态大模型在细粒度视觉识别上所需的 3 项能力：对象信息提取能力、类别知识储备能力、对象 - 类别对齐能力，发现了「视觉对象与细粒度子类别未对齐」
这次不是卷参数、卷算力，而是卷“跨界学习”——
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。