何恺明LeCun联手改造Transformer！9行代码替代归一化层，性能不减还加速
何恺明LeCun联手改造Transformer！9行代码替代归一化层，性能不减还加速何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。
来自主题: AI技术研报
8611 点击 2025-03-15 17:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。
Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。
LeCun最新访谈，对DeepSeek一顿猛夸。 他表示，DeepSeek是一项很出色的成果，它的开源不只是成果创造者受益，全世界都能从中受益。
AI如何理解物理世界？视频联合嵌入预测架构V-JEPA带来新突破，无需硬编码核心知识，在自监督预训练中展现出对直观物理的理解，超越了基于像素的预测模型和多模态LLM。
近日，Meta等机构发表的论文介绍了一种通过进化算法构造高质量数据集的方法：拒绝指令偏好（RIP），得到了Yann LeCun的转赞。相比未经过滤的数据，使用RIP构建的数据集让模型在多个基准测试中都实现了显著提升。
“放弃生成式模型，不研究LLM（大语言模型），我们没办法只通过文本训练让AI达到人类的智慧水平。”近日，Meta首席AI科学家杨立昆（Yann LeCun）在法国巴黎的2025年人工智能行动峰会上再一次炮轰了生成式AI。
在当今的 AI 领域，图灵奖得主 Yann LeCun 算是一个另类。即便眼见着自回归 LLM 的能力越来越强大，能解决的任务也越来越多，他也依然坚持自己的看法：自回归 LLM 没有光明的未来。
近年来，多模态大模型（MLLM）在视觉理解领域突飞猛进，但如何让大语言模型（LLM）低成本掌握视觉生成能力仍是业界难题！
奥特曼罕见地承认了自己犯下的「历史错误」，LeCun发文痛批硅谷一大常见病——错位优越感。DeepSeek的终极意义在哪？圈内热转的这篇分析指出，相比R1，R1-Zero具有更重要的研究价值，因为它打破了终极的人类输入瓶颈！
1月23日，在第55届世界经济论坛(冬季达沃斯)上,“深度学习”三巨头之一、图灵奖得主、Meta AI首席科学家杨立昆（Yann LeCun），如此对腾讯新闻《一线》透露Meta2025年在AI领域的投资规模。