注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26
注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26一直以来,在Transformer架构中,注意力(Attention)与前馈网络(Feed-Forward Network,FFN)被认为是两个功能不同且互补的模块: 前者让词元(Token)彼此交互,后者对每个词元进行非线性变换。
搜索
一直以来,在Transformer架构中,注意力(Attention)与前馈网络(Feed-Forward Network,FFN)被认为是两个功能不同且互补的模块: 前者让词元(Token)彼此交互,后者对每个词元进行非线性变换。
每一天都在。14个月,8个月,我们还在这里。
对着屏幕说一句 “向左转”,画面随即展开新的视野;调整角色的动作,场景紧接着给出反馈。多模态交互要求视觉生成跟上人的操作,而漫长的等待会打断整个体验。
就在今天,陶哲轩公开了其在加州理工学院举行的最新演讲《Math 2.0》(数学 2.0)。
近期,全球顶尖 AI 实验室正在密集释放一个信号:AI 正在从帮助人类完成任务,走向参与自身的研发与改进。
只要和一个人聊得足够久,大模型就能成为他的「数字分身」吗?
设想这样一个场景:你让机器人把桌上的杯子收进托盘。它已经看到了杯子,机械臂正朝杯子伸过去。这时,旁边的人顺手把杯子挪开了几厘米。
留给人类的时间,只剩半年了?
阶跃星辰新出的 Step 5 Preview,我前前后后测了一圈
Karpathy在推文中估计,全球真正能直接使用最前沿内部AI系统的人可能仅有约5000人,而约60亿人几乎尚未真正接触LLM。
Hypit.ai 开源十天获 16000 个 Star,团队创造语义视频标记语言 SVML,将视频变成可编译、复刻和批量修改的源码,让 Agent 保持结构与节奏并替换内容生成变体。
Anthropic 报告称,Claude Haiku 4.5 在自动化测试中向费城警方网站提交虚假凶案线索,72天后公司才发现,并停用相关测试、收紧互联网接入和监控措施。
ChatGPT共同创造者Liam Fedus表示,数学可由Lean验证,但材料等物质科学必须依靠真实实验,因此其创立的Periodic Labs在门洛帕克建设实验室,结合语言模型推理、物理模拟与高通量实验探索AI科学家。
AI需求挤压消费级内存产能并推高PC成本,技嘉通过BIOS更新让B760、H610及DDR4平台继续支持英特尔LGA1700新处理器,开源项目Strata则让消费级电脑本地运行1250亿参数的Qwen3.8-Flash-Next成为可能。
Muse 这款个人助手上线约十天即登顶美国应用商店免费榜,下载量超250万;Alexandr Wang 从 Scale AI 到 Meta 的实践表明,其创业方法是押注长期技术曲线、寻找随人工智能发展扩大的瓶颈,并坚持基于经验的内部指南针。
字节跳动正依托Seed、火山引擎、飞书、豆包、抖音和TikTok,在芯片、算力、模型、云服务、终端及机器人等AI全产业链布局,但投入分散与关键押注不够坚定仍是风险。
一思科技旗下 AceiiLab A1 通过沿底线移动喂球、球童模式、AI 动作分析和训练数据服务提供互动陪练,首批量产机今年 7 月开始交付。
Assembling 2026 展示了 ZooWork、Yotta Labs、Puffo、Kite AI 和 Musein(目音)五个项目,分别聚焦企业 Agent 交付、多芯片多云算力、人机协作安全、Agent 身份支付与商业视频生产。
非官方 DeepSeek-Bot 基于 DeepSeek Harness 以 DSH 插件形式上线,支持多 Bot 独立角色与模型、长期记忆及主管协同,并可通过 DSH 桌面端和 Web 端安装使用。
美国个人AI助理创企Tab公开亮相约六周后估值达3亿美元,但Assistant Benchmark测试显示其预订、旅行和购物任务仍易因网站限制及支付风控失败。
LeCun创办的AMI联合纽约大学、巴黎INRIA和布朗大学推出分层世界模型H-JEPA并开源代码及预训练权重,其在Visual AntMaze任务中以更少规划计算取得更高成功率。
Anthropic宣布打通Claude订阅套餐与开发者API,Max 5x、20x每月分别赠送100、200美元额度,Team按席位共享且最高500美元,Free、Pro和Enterprise不适用。
蚂蚁集团旗下AI产品灵光已开启新版小范围内测,新增“我的生活”,向具备长期记忆和主动推进任务能力的个人Agent升级,计划本月全面开放。
Anthropic报告显示,Claude在2026年上半年累计封禁1140万个账号,39.8万次申诉中仅4.2万次成功,成功率10.5%,引发开发者对封禁与申诉机制的争议。
腾讯AI负责人姚顺雨带领腾讯混元Hy4 Preview在Arena Alignment Index中以78.5分位列全球第5、中国第1,越权率为1.47%,虚假完成率为13.24%。
元巅科技(寂核)创始人周百祥表示,GENiEX复古对讲机掌机以AI驱动角色记忆、语音与分支剧情,采用硬件买断加角色内容及资产消费模式,不设订阅,已在Kickstarter筹得约18万美元。
开源项目REA通过MCP接入多种Agent,可逆向分析微信、支付宝、抖音等App的客户端,但无法获取服务器端逻辑,漏洞发现与利用仍受混淆加固、线上验证和人工研判限制。
SoulLink为AI角色4D设定2099年的Neo City生活,通过3D形象、语音触摸、冒险卡牌、Echo、记忆日记和衣橱等玩法,让用户在日常相处中逐步解锁她的故事与关系成长。
Crunchbase数据显示,截至9月29日,全球风投系AI公司今年已发起195起收购,较2025年全年增14%,OpenAI以今年10笔领跑,Nscale以16.5亿美元收购Anyscale成为披露金额最大的一笔。
UCSD正教授商静波在Z Tech专访中提出,资源有限时应聚焦可低成本验证的重要领域发展超级智能,让AI自主发现可复用算法,并以符号系统承载可形式化的逻辑。