3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
6183 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
Ilya「预训练结束了」言论一出，圈内哗然。谷歌大佬Logan Klipatrick和LeCun站出来反对说：预训练还没结束！Scaling Law真的崩了吗？Epoch AI发布报告称，我们已经进入「小模型」周期，但下一代依然会更大。
OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
大模型未必最优，小模型也有机会 前几天刷B站的时候，碰到了一个很抽象很难评的事情——一个科普up主的视频里，夹带了一个AI产品的广告。
自从 Chatgpt 诞生以来，LLM（大语言模型）的参数量似乎就成为了各个公司的竞赛指标。GPT-1 参数量为 1.17 亿（1.17M），而它的第四代 GPT-4 参数量已经刷新到了 1.8 万亿（1800B）。
用大模型“蒸馏”小模型，有新招了！
最近，一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后，一个仅80亿参数的小模型，在科学问题上也能和GPT-4o一较高下！或许，单纯地卷AI计算能力并不是唯一的出路。
我们对小型语言模型的增强方法、已存在的小模型、应用、与 LLMs 的协作、以及可信赖性方面进行了详细调查。
生成式人工智能GenAI是否存在泡沫？这个问题日益成为业界热议的焦点。目前，全球对AI基础设施的投资已到了癫狂的成千上万亿美元的规模，然而大模型如何实现盈利却始终没有一个明确的答案。