AI资讯新闻榜单内容搜索-Transforme

关键词: AI,Mamba,Transformer,模型训练

在过去的一两年中，Transformer 架构不断面临来自新兴架构的挑战。

关键词: Transformer,Mamba,混元T1,混元T1正式版

首个基于混合Mamba架构的超大型推理模型来了！就在刚刚，腾讯宣布推出自研深度思考模型混元T1正式版，并同步在腾讯云官网上线。对标o1、DeepSeek R1之外，值得关注的是，混元T1正式版采用的是Hybrid-Mamba-Transformer融合模式——

关键词: AI,Transformer,AI框架,模型训练,何恺明

何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。

关键词: AI,Transformer,AI框架,模型训练,何恺明

Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。

关键词: AI,Transformer,模型训练,人工智能

Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。

关键词: RWKV,元始智能,彭博,Transformer,模型训练

当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。

关键词: 扩散模型,模型训练,DFoT,Diffusion Forcing Transformer

进入到 2025 年，视频生成（尤其是基于扩散模型）领域还在不断地「推陈出新」，各种文生视频、图生视频模型展现出了酷炫的效果。其中，长视频生成一直是现有视频扩散的痛点。

关键词: Jeff Dean,Transformer,AI,人工智能,猫神经元

谷歌首席科学家Jeff Dean与Transformer作者Noam Shazeer在一场访谈中不仅揭秘了让模型速度提升三倍的低精度计算技术，分享了「猫神经元」等早期AI突破的背后故事，还大胆畅想了AI处理万亿级别Token、实现「1000万倍工程师」的可能性。

关键词: Transformer,模型训练,AI架构,人工智能

一篇报道，在AI圈掀起轩然大波。文中引用了近2年前的论文直击大模型死穴——Transformer触及天花板，却引来OpenAI研究科学家的紧急回应。谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。

关键词: SANA 1.5,线性扩散,Transformer,模型训练,扩散模型

SANA 1.5是一种高效可扩展的线性扩散Transformer，针对文本生成图像任务进行了三项创新：高效的模型增长策略、深度剪枝和推理时扩展策略。这些创新不仅大幅降低了训练和推理成本，还在生成质量上达到了最先进的水平。