苹果也在蒸馏大模型，给出了蒸馏Scaling Laws
苹果也在蒸馏大模型，给出了蒸馏Scaling Laws蒸馏模型的性能可以量化估算了。
来自主题: AI资讯
5977 点击 2025-02-14 15:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
蒸馏模型的性能可以量化估算了。
刚刚，OpenAI奥特曼的最新AI观察出炉：Scaling Law将保持不变，短时间内没有理由停止对AI进行指数增长级的投资！1、AI能力与投入资源呈对数关系 2、AI使用成本每年降低约10倍 3、AI带来的社会经济价值呈超级指数增长
Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。
近日，资深机器学习研究科学家 Cameron R. Wolfe 更新了一篇超长的博客文章，详细介绍了 LLM scaling 的当前状况，并分享了他对 AI 研究未来的看法。
明天就是辞旧迎新的春节假期，咱来点不一样的——送上一份「年初展望」，站在2025年伊始，把AI科技领域不同领域的热点趋势，浅浅盘了一圈。从人型机器人、AI眼镜，从推理模型到AI Coding……分别从产品侧和技术侧，把今年最有料的8个大热门趋势一网打尽，干货过年。
对 LLM 来说，Pre-training 的时代已经基本结束了。视频模型的 Scaling Law，瓶颈还很早。具身智能：完全具备人类泛化能力的机器人，在我们这代可能无法实现
大模型低精度训练和推理是大模型领域中的重要研究方向，旨在通过降低模型精度来减少计算和存储成本，同时保持模型的性能。因为在大模型研发成本降低上的巨大价值而受到行业广泛关注 。
随着 o1、o1 Pro 和 o3 的成功发布，我们明显看到，推理所需的时间和计算资源逐步上升。可以说，o1 的最大贡献在于它揭示了提升模型效果的另一种途径：在推理过程中，通过优化计算资源的配置，可能比单纯扩展模型参数更为高效。
在营销应用赛道也有类似Scaling Law的规则—— 当营销素材工业化生产的时候，不断提升生产效率，就能产生爆款。
目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题，来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略。