大模型「灾难性遗忘」问题或将迎来突破。近日，NeurIPS 2025收录了谷歌研究院的一篇论文，其中提出一种全新的「嵌套学习（Nested Learning）」架构。实验中基于该框架的「Hope」模型在语言建模与长上下文记忆任务中超越Transformer模型，这意味着大模型正迈向具备自我改进能力的新阶段。
微调超大参数模型，现在的“打开方式”已经大变样了： 仅需2-4 张消费级显卡（4090），就能在本地对DeepSeek 671B乃至Kimi K2 1TB这样的超大模型进行微调了。
谷歌世界模型大牛Danijar Hafner宣布离任！他自2016年起开始在Google Brain实习，后又在DeepMind、Brain Team工作。他的经历颇具传奇色彩，曾获辛顿指导，还与Łukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集。
Transformer 语言模型具有单射性，隐藏状态可无损重构输入信息。
现在，NTU联合StepFun提出了IGGT (Instance-Grounded Geometry Transformer) ，一个创新的端到端大型统一Transformer，首次将空间重建与实例级上下文理解融为一体。
最近的 Meta 可谓大动作不断，一边疯狂裁人，一边又高强度产出论文。
Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。
近日，范鹤鹤（浙江大学）、杨易（浙江大学）、Mohan Kankanhalli（新加坡国立大学）和吴飞（浙江大学）四位老师提出了一种具有划时代意义的神经网络基础操作——Translution。 该研究认为，神经网络对某种类型数据建模的本质是：
都说苹果AI慢半拍，没想到新研究直接在Transformer头上动土。（doge） 「Mamba+工具」，在Agent场景更能打！
在近日的一次访谈中，Andrej Karpathy深入探讨了AGI、智能体与AI未来十年的走向。他认为当前的「智能体」仍处早期阶段，强化学习虽不完美，却是目前的最优解。他预测未来10年的AI架构仍然可能是类似Transformer的巨大神经网络。
