微调超大参数模型，现在的“打开方式”已经大变样了： 仅需2-4 张消费级显卡（4090），就能在本地对DeepSeek 671B乃至Kimi K2 1TB这样的超大模型进行微调了。
谷歌世界模型大牛Danijar Hafner宣布离任！他自2016年起开始在Google Brain实习，后又在DeepMind、Brain Team工作。他的经历颇具传奇色彩，曾获辛顿指导，还与Łukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集。
Transformer 语言模型具有单射性，隐藏状态可无损重构输入信息。
现在，NTU联合StepFun提出了IGGT (Instance-Grounded Geometry Transformer) ，一个创新的端到端大型统一Transformer，首次将空间重建与实例级上下文理解融为一体。
最近的 Meta 可谓大动作不断，一边疯狂裁人，一边又高强度产出论文。
Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。
近日，范鹤鹤（浙江大学）、杨易（浙江大学）、Mohan Kankanhalli（新加坡国立大学）和吴飞（浙江大学）四位老师提出了一种具有划时代意义的神经网络基础操作——Translution。 该研究认为，神经网络对某种类型数据建模的本质是：
都说苹果AI慢半拍，没想到新研究直接在Transformer头上动土。（doge） 「Mamba+工具」，在Agent场景更能打！
在近日的一次访谈中，Andrej Karpathy深入探讨了AGI、智能体与AI未来十年的走向。他认为当前的「智能体」仍处早期阶段，强化学习虽不完美，却是目前的最优解。他预测未来10年的AI架构仍然可能是类似Transformer的巨大神经网络。
本文介绍了一种用高数据效率强化学习算法 SAC 训练流策略的新方案，可以端到端优化真实的流策略，而无需采用替代目标或者策略蒸馏。SAC FLow 的核心思想是把流策略视作一个 residual RNN，再用 GRU 门控和 Transformer Decoder 两套速度参数化。
