3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布
3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
来自主题: AI技术研报
4517 点击 2025-04-14 09:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
千亿参数内最强推理大模型，刚刚易主了。32B——DeepSeek-R1的1/20参数量；免费商用；且全面开源——模型权重、训练数据集和完整训练代码，都开源了。这就是刚刚亮相的Skywork-OR1 (Open Reasoner 1)系列模型——
让大语言模型更懂特定领域知识，有新招了！
在人工智能飞速发展的今天，LLM 的能力令人叹为观止，但其局限性也日益凸显 —— 它们往往被困于训练数据的「孤岛」，无法直接触及实时信息或外部工具。
当我们遇到新问题时，往往会通过类比过去的经验来寻找解决方案，大语言模型能否如同人类一样类比？在对大模型的众多批判中，人们常说大模型只是记住了训练数据集中的模式，并没有进行真正的推理。
视频作为包含大量时空信息和语义的媒介，对于 AI 理解、模拟现实世界至关重要。视频生成作为生成式 AI 的一个重要方向，其性能目前主要通过增大基础模型的参数量和预训练数据实现提升，更大的模型是更好表现的基础，但同时也意味着更苛刻的计算资源需求。
7B小模型+3.8万条训练数据，就能让音频理解和推断评测基准MMAU榜单王座易主？
为了解决视频编辑模型缺乏训练数据的问题，本文作者（来自香港中文大学、香港理工大学、清华大学等高校和云天励飞）提出了一个名为 Señorita-2M 的数据集。该数据集包含 200 万高质量的视频编辑对，囊括了 18 种视频编辑任务。
当模型复杂度增加到一定程度后，模型开始对训练数据中的噪声和异常值进行拟合，而不是仅仅学习数据中的真实模式。这导致模型在训练数据上表现得非常好，但在新的数据上表现不佳，因为新的数据中噪声和异常值的分布与训练数据不同。
2025 年 3 月 4 日，360 智脑开源了 Light-R1-32B 模型，以及全部训练数据、代码。仅需 12 台 H800 上 6 小时即可训练完成，从没有长思维链的 Qwen2.5-32B-Instruct 出发，仅使用 7 万条数学数据训练，得到 Light-R1-32B