3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
6328 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
BLT 在许多基准测试中超越了基于 token 的架构。
多模态大模型内嵌语言模型总是出现灾难性遗忘怎么办？
近日，谷歌DeepMind的研究人员推出了苏格拉底式学习，在没有外部数据的情况下，让AI通过语言游戏不断变强。
PCNet网络具有创新的协同采样算子和优化的重建网络，实验结果证明，其在图像重建精度、计算效率和任务扩展性方面均优于现有方法，为高分辨率图像的压缩感知提供了新的解决方案。
Ilya「预训练结束了」言论一出，圈内哗然。谷歌大佬Logan Klipatrick和LeCun站出来反对说：预训练还没结束！Scaling Law真的崩了吗？Epoch AI发布报告称，我们已经进入「小模型」周期，但下一代依然会更大。
MAPLE实验室提出通过强化学习优化图像生成模型的去噪过程，使其能以更少的步骤生成高质量图像，在多个图像生成模型上实现了减少推理步骤，还能提高图像质量。
Scaling Law不仅在放缓，而且不一定总是适用！ 尤其在文本分类任务中，扩大训练集的数据量可能会带来更严重的数据冲突和数据冗余。
本文介绍了首个多模态大模型（MLLM）可解释性综述