已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源
已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源字节对MoE模型训练成本再砍一刀，成本可节省40%！ 刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。
来自主题: AI技术研报
6011 点击 2025-03-10 21:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
字节对MoE模型训练成本再砍一刀，成本可节省40%！ 刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。
北京时间3月10日，据《华尔街日报》报道，富士康母公司鸿海已研发出中国台湾地区首个具备先进推理能力的大模型，性能上落后于DeepSeek的部分大模型。鸿海周一表示，已自主研发了具备推理能力的人工智能(AI)大语言模型FoxBrain，并在四周内完成训练。FoxBrain最初为公司内部使用而设计，具备数据分析、数学运算、推理以及代码生成的能力。
推理token减少80%-90%，准确率变化不大，某些任务还能增加。
最近， Meta首席AI科学家杨立昆接受海外播客This Is IT 的专访，探讨了深度学习的发展历程、机器学习的三种范式、莫拉维克悖论与AI发展的限制、训练AI模型的资源、AI基础设施投资等话题。
AGI明年降临？清华人大最新研究给狂热的AI世界泼了一盆冷水：人类距离真正的AGI，还有整整70年！若要实现「自主级智能，需要惊人的10²⁶参数，所需GPU总价竟是苹果市值的4×10⁷倍！
CMU团队用LCPO训练了一个15亿参数的L1模型，结果令人震惊：在数学推理任务中，它比S1相对提升100%以上，在逻辑推理和MMLU等非训练任务上也能稳定发挥。更厉害的是，要求短推理时，甚至击败了GPT-4o——用的还是相同的token预算！
谷歌发布了1000亿文本-图像对数据集，是此前类似数据集的10倍，创下新纪录！基于新数据集，发现预训练Scaling Law，虽然对模型性能提升不明显，但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋！
TimeDistill通过知识蒸馏，将复杂模型（如Transformer和CNN）的预测能力迁移到轻量级的MLP模型中，专注于提取多尺度和多周期模式，显著提升MLP的预测精度，同时保持高效计算能力，为时序预测提供了一种高效且精准的解决方案。
随着大模型在长文本处理任务中的应用日益广泛，如何客观且精准地评估其长文本能力已成为一个亟待解决的问题。
在面对复杂的推理任务时，SFT往往让大模型显得力不从心。最近，CMU等机构的华人团队提出了「批判性微调」（CFT）方法，仅在 50K 样本上训练，就在大多数基准测试中优于使用超过200万个样本的强化学习方法。