复旦大学/上海创智学院邱锡鹏：Context Scaling，通往AGI的下一幕
复旦大学/上海创智学院邱锡鹏：Context Scaling，通往AGI的下一幕真正的智能在于理解任务的模糊与复杂，Context Scaling 是通向 AGI 的关键一步。
来自主题: AI技术研报
8117 点击 2025-06-15 15:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
真正的智能在于理解任务的模糊与复杂，Context Scaling 是通向 AGI 的关键一步。
测试时扩展（Test-Time Scaling）极大提升了大语言模型的性能，涌现出了如 OpenAI o 系列模型和 DeepSeek R1 等众多爆款。那么，什么是视觉领域的 test-time scaling？又该如何定义？
Test time scaling范式蓬勃发展。推理模型持续快速改进，变得更为高效且价格更为亲民。在评估现实世界软件工程任务（如 SWE-Bench）时，模型以更低的成本取得了更高的分数。以下是显示模型变得更便宜且更优秀的图表。
强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理技能吗，还是只是提高了已有知识的调用效率？
既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。
2023年，业界还在卷Scaling Law，不断突破参数规模和数据规模时，微软亚洲研究院张丽团队就选择了另一条路径。
「Scaling Law 即将撞墙。」这一论断的一大主要依据是高质量数据不够用了
DeepSeek最新论文深入剖析了V3/R1的开发历程，揭示了硬件与大语言模型架构协同设计的核心奥秘。论文展示了如何突破内存、计算和通信瓶颈，实现低成本、高效率的大规模AI训练与推理。不仅总结了实践经验，还为未来AI硬件与模型协同设计提出了建议。
当训练成本飙升、数据枯竭，如何继续激发大模型潜能？
当以端到端黑盒训练为代表的深度学习深陷低效 Scaling Law 而无法自拔时，我们是否可以回到起点重看模型表征本身——究竟什么才是一个人工智能模型的「表征质量」或者「泛化性」？我们真的只有通过海量的测试数据才能抓住泛化性的本质吗？或者说，能否在数学上找到一个定理，直接从表征逻辑复杂度本身就给出一个对模型泛化性的先验的判断呢？