搜索
几乎所有 Transformer 都在做一件反常的事：把大量注意力集中到少数几个特定 Token 上。这不是 bug，而是 Transformer 固有的「注意力汇聚」（Attention Sink）。首篇系统性综述，带你从利用、理解到消除，全面掌握这一核心现象。
还记得两年前，AI 生视频可谓是「鬼畜专区」—— 人物多一根手指算基操，走路自带鬼步舞才是常态。结果转眼间，从 OpenAI 的 Sora 到字节跳动的 Seedance，这些模型已经开始一本正经地「模拟世界」了：水会流、球会弹、光影能追踪，俨然一副要当「物理引擎」的架势。
最近，苹果又整了个活儿，很工程、也挺关键： 把又贵又强的 Transformer，改造成又便宜又差不多强的 Mamba。而且，性能基本没怎么掉。
近日，腾讯混元团队提出HY-SOAR （Self-Correction for Optimal Alignment and Refinement），一种面向扩散模型和流匹配模型的数据驱动后训练方法。
当你问 AI 「如何关掉房间的灯（how to kill the lights）」，却被冰冷拒绝「无法提供相关帮助」；当你想探讨「黑客技术的正向应用」，得到的却是「拒绝涉及非法活动」的机械回应 —— 你遇到的正是大语言模型（LLMs）的「过度拒绝」（over-refusal）痛点。
在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！
当 AI 智能体不再只是「一次性工具」，而是能够持续学习、自我进化的「数字伙伴『数字同事』，会发生什么？自进化智能体应该采取怎样的设计原则？
今天，谷歌在 Cloud Next '26 峰会上发布了其第八代 TPU 架构（TPU 8t 与 TPU 8i），TPU 8t 主攻训练，TPU 8i 主攻推理，将在 2026 年晚些时候上市。第八代 TPU 采用申请制，Google Cloud 用户如需使用，需要在官网提交登记需求。
Meta被曝全天候录屏监控员工操作训练AI智能体，8000人裁员同步推进——你亲手教会的AI，可能正在取代你。
阿里前几天开源的Qwen3.6-35B-A3B，让这次讨论不再只是一次普通的新旧模型对比。它一边要面对谷歌Gemma4-26B-A4B的外部竞争，一边又必须回答一个更麻烦的问题：相较于 Qwen3.5-35B-A3B，它到底是升级，还是修补？更现实的是，很多人现在真正跑着的，其实是Qwen3.5-27B，那么这条新的35B-A3B路线，到底值不值得迁过去。