苹果也在蒸馏大模型，给出了蒸馏Scaling Laws
苹果也在蒸馏大模型，给出了蒸馏Scaling Laws蒸馏模型的性能可以量化估算了。
来自主题: AI资讯
5972 点击 2025-02-14 15:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
蒸馏模型的性能可以量化估算了。
Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。
大模型低精度训练和推理是大模型领域中的重要研究方向，旨在通过降低模型精度来减少计算和存储成本，同时保持模型的性能。因为在大模型研发成本降低上的巨大价值而受到行业广泛关注 。
CoreWeave从最初的加密货币挖矿业务起家，现已成为AI云计算领域的领军企业。
本期专访我们有幸邀请到了Poppaws.AI的CEO何东阳，跟我们分享他如何从清华休学到成为AI创业者，最终拿到数百万投资的成长故事
目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题，来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略。
继微软云（Azure ）和谷歌云（Google Cloud）之后，亚马逊旗下AWS也在近期发布了自己的基础大语言模型Nova。
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
2024年6月，Matt Garman接任AWS的首席执行官，成为该公司第三任掌门人。Matt将带领AWS继续在全球云计算和人工智能领域的竞争中保持领先地位。亚马逊总裁兼首席执行官Andy Jassy对Matt的出色履历给予高度评价，称其具备非凡的领导能力和丰富的经验，能够引领AWS迈向新的高度。
非凡产研为大家整理编辑了近期微软CTO凯文·斯科特（Kevin Scott）接受红杉资本、Stratechery 采访回应关于大模型scaling laws、人工智能平台转变等焦点话题的精华内容。