ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。
来自主题: AI技术研报
7034 点击 2025-05-06 14:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。
研究揭示早融合架构在低计算预算下表现更优，训练效率更高。混合专家（MoE）技术让模型动态适应不同模态，显著提升性能，堪称多模态模型的秘密武器。
你以为大模型已经能轻松“上网冲浪”了？
科幻中AI自我复制失控场景，正成为现实世界严肃的研究课题。英国AISI推出RepliBench基准，分解并评估AI自主复制所需的四大核心能力。测试显示，当前AI尚不具备完全自主复制能力，但在获取资源等子任务上已展现显著进展。
本文深入梳理了围绕DeepSeek-R1展开的多项复现研究，系统解析了监督微调（SFT）、强化学习（RL）以及奖励机制、数据构建等关键技术细节。
该研究对 LLM 常见的失败模式贪婪性、频率偏差和知 - 行差距，进行了深入研究。
编程智能体，几乎成为了 2025 年最热门的话题之一。不管是学术机构还是工业界，都在寻找更高效的落地路径。
破解 “只学不练” 与 “只练不学” 的难题
在这场通往AGI的竞赛中，人类或许正在逐渐走向失控。MIT最新研究指出：即使采用最理想的监督机制，人类成功控制超级智能的概率也仅为52%，而全面失控的风险可能超过90%。
在 AI 领域里，大模型通常具有百亿甚至数千亿参数，训练和推理过程对计算资源、存储系统和数据访问效率提出了极高要求。