5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限
5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限只用5%的参数，数学和代码能力竟然超越满血DeepSeek？
来自主题: AI资讯
7998 点击 2025-05-27 12:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
只用5%的参数，数学和代码能力竟然超越满血DeepSeek？
DeepSeek-R1火了，推理模型火了，思维链（Chain-of-Thought，CoT）火了！
在今年，DeepSeek R1火了之后。
微软最近与Salesforce Research联合发布了一篇名为《Lost in Conversation》的研究，说当前最先进的LLM在多轮对话中表现会大幅下降，平均降幅高达39%。这一现象被称为对话中的"迷失"。文章分析了各大模型（包括Claude 3.7-Sonnet、Deepseek-R1等）在多轮对话中的表现差异，还解析了模型"迷失"的根本原因及有效缓解策略。
英伟达官宣新办公室落户中国台湾省台北市，但居然是从太空飞下来的吗？
大型推理模型（如 OpenAI-o1、DeepSeek-R1）展现了强大的推理能力，但其静态知识限制了在复杂知识密集型任务及全面报告生成中的表现。为应对此挑战，深度研究智能体 WebThinker 赋予 LRM 在推理中自主搜索网络、导航网页及撰写报告的能力。
国产大模型进步的速度早已大大超出了人们的预期。年初 DeepSeek-R1 爆火，以超低的成本实现了部分超越 OpenAI o1 的表现，一定程度上让人不再过度「迷信」国外大模型。
DeepSeek最新论文深入剖析了V3/R1的开发历程，揭示了硬件与大语言模型架构协同设计的核心奥秘。论文展示了如何突破内存、计算和通信瓶颈，实现低成本、高效率的大规模AI训练与推理。不仅总结了实践经验，还为未来AI硬件与模型协同设计提出了建议。
R1 横空出世，带火了 GRPO 算法，RL 也随之成为 2025 年的热门技术探索方向，近期，字节 Seed 团队就在图像生成方向进行了相关探索。
一夜之间，老黄天塌了（doge）。