3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
9064 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
视频生成领先 OpenAI 了？
上周五（12月13日）晚，美股市场惊现“买博通、卖英伟达”：博通（broadcom）股价大涨27%，创下历史最高单日涨幅，公司市值突破1万亿美元，同时，芯片龙头英伟达的股价录得3.3%的下跌。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
继微软云（Azure ）和谷歌云（Google Cloud）之后，亚马逊旗下AWS也在近期发布了自己的基础大语言模型Nova。
LLM 强大的语言能力，使其被广泛部署于 LLM 应用系统（LLM-integrated applications）中。此时，LLM 需要访问外部数据（如文件，网页，API 返回值）来完成任务。
在当前大语言模型（LLM）的应用生态中，函数调用能力（Function Calling）已经成为一项不可或缺的核心能力。
你是不是以为发了GPT4.5？但很抱歉，今天只是发布了o1的API以及实时语音的新玩意。 还记得前段时间的OpenAI的DevDay吗？那上面曾经说过会更新OpenAI的API，现在期货交割了！这次OpenAI表现很好，才用了短短的一个多月就完成了交割，值得鼓励！（我是在吹不下去了。。。）
o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
BLT 在许多基准测试中超越了基于 token 的架构。