清华&通院推出"绝对零"训练法，零外部数据大模型自我博弈解锁推理能力
清华&通院推出"绝对零"训练法，零外部数据大模型自我博弈解锁推理能力不用引入外部数据，通过自我博弈（Self-play）就能让预训练大模型学会推理？
来自主题: AI技术研报
7716 点击 2025-05-12 15:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
不用引入外部数据，通过自我博弈（Self-play）就能让预训练大模型学会推理？
根据去年2024年7月28日Meta公司在训练大模型（Llama 3）时使用“16384 个 英伟达H100 GPU 集群”的经验，该显卡在高负载、大规模集群运行环境下容易出现以下故障点：
蚂蚁开源大模型的低成本训练细节，疑似曝光！
用代码训练大模型思考，其他方面的推理能力也能提升。
AI具备的能力，本质上来自算法和训练大模型所用的数据，数据的数量和质量会对大模型起到决定性作用。此前OpenAI工作人员表示，因没有足够多的高质量数据，Orion项目（即GPT-5）进展缓慢。不得已之下，OpenAI招募了许多数学家、物理学家、程序员原创数据，用于训练大模型。
Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。
让大模型能快速、准确、高效地吸收新知识！
随着LLM的进步，它将超越代码补全（“Copilot”）的功能，进入代码创作（“Autopilot”）的领域。随着LLM变得越来越复杂，它们能够释放的经济价值也会越来越大。AGI的经济价值仅受我们的想象力限制。
近年来，Transformer等预训练大模型在语言理解及生成等领域表现出色，大模型背后的Scaling Law（规模定律）进一步揭示了模型性能与数据量、算力之间的关系，强化了数据在提升AI表现中的关键作用。
自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段