5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限
5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限只用5%的参数，数学和代码能力竟然超越满血DeepSeek？
来自主题: AI资讯
7795 点击 2025-05-27 12:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
只用5%的参数，数学和代码能力竟然超越满血DeepSeek？
大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。
亚马逊今年的资本支出达1000亿美元，大部分用于与AI相关项目。亚马逊内部正开发1000多种生成式AI应用，涵盖编程、搜索、购物等领域。美国当地时间周四，亚马逊CEO安迪·贾西发布了2024年度致股东信。他在信中预测，尽管许多公司正“大举”投资AI，但随着技术进步和芯片市场竞争加剧，AI的使用成本最终将会下降，而推理成本将占大头。
2025年斯坦福HAI报告重磅发布，456页深度剖析全球AI领域的最新趋势：中美顶级模型性能差距缩至0.3%，以DeepSeek为代表的模型强势崛起，逼近闭源巨头；推理成本暴降，小模型性能飙升，AI正变得更高效、更普惠。
OpenAI o3推理成本从3000美元飙至3万美元，暴增10倍。o3-high靠暴力试错生成4300万字解题，却被ARC-AGI「除名」。
「国产大模型 + 国产引擎 + 国产芯片」的完整技术闭环正在加速形成。
DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界，特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络（Multi-head Latent Attention, MLA）是其经济推理架构的核心之一，通过对键值缓存进行低秩压缩，显著降低推理成本 [1]。
AI模型的训练和推理成本在过去18个月内大幅下降，达到180倍的成本降低。这一趋势推动了更多开源项目的涌现。
字节出了个全新架构，把推理成本给狠狠地打了下去！推理速度相比MoE架构提升2-6倍，推理成本最高可降低83%。
SANA 1.5是一种高效可扩展的线性扩散Transformer，针对文本生成图像任务进行了三项创新：高效的模型增长策略、深度剪枝和推理时扩展策略。这些创新不仅大幅降低了训练和推理成本，还在生成质量上达到了最先进的水平。