随着大语言模型（LLM）技术的快速发展，单一AI智能体已经展现出强大的问题解决能力。然而，在面对复杂的企业级应用场景时，单一智能体的能力往往显得捉襟见肘。
本文介绍了一套针对于低比特量化的 scaling laws。
目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题，来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略。
继微软云（Azure ）和谷歌云（Google Cloud）之后，亚马逊旗下AWS也在近期发布了自己的基础大语言模型Nova。
领头羊企业OpenAI刚获得66亿美元融资，估值达到1570亿美元，成为究极独角兽。紧跟其后，xAI、Perplexity、Anthropic等明星创企也开始新一轮的大额融资，xAI的估值更是冲向了450亿美元。三年过去，生成式AI热潮经久不衰，依然是当下最热门投资方向。
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
当地时间11月7日，Anthropic与Palantir Technologies Inc.和亚马逊网络服务（AWS）合作，将Claude 3和3.5系列AI模型引入AWS，服务于美国情报和国防机构。
当CEO谈论AI时，他们的团队会开始部署云端AI技术。
2024年6月，Matt Garman接任AWS的首席执行官，成为该公司第三任掌门人。Matt将带领AWS继续在全球云计算和人工智能领域的竞争中保持领先地位。亚马逊总裁兼首席执行官Andy Jassy对Matt的出色履历给予高度评价，称其具备非凡的领导能力和丰富的经验，能够引领AWS迈向新的高度。
非凡产研为大家整理编辑了近期微软CTO凯文·斯科特（Kevin Scott）接受红杉资本、Stratechery 采访回应关于大模型scaling laws、人工智能平台转变等焦点话题的精华内容。
