搜索
Transformer作者Ashish Vaswani团队重磅LLM研究！简单指令：「Wait，」就能有效激发LLM显式反思，表现堪比直接告知模型存在错误。
Nemotron-H模型混合了Transformer和Mamba架构，使长文本推理速度提升3倍，同时还能保持高性能，开源版本包括8B和56B尺寸。训练过程采用FP8训练和压缩技术，进一步提高了20%推理速度
芯片架构设计的首要原则是明确取舍，决定哪些领域我们不追求卓越。
在过去的一两年中，Transformer 架构不断面临来自新兴架构的挑战。
首个基于混合Mamba架构的超大型推理模型来了！就在刚刚，腾讯宣布推出自研深度思考模型混元T1正式版，并同步在腾讯云官网上线。对标o1、DeepSeek R1之外，值得关注的是，混元T1正式版采用的是Hybrid-Mamba-Transformer融合模式——
何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。
Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。
Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。
当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。
进入到 2025 年，视频生成（尤其是基于扩散模型）领域还在不断地「推陈出新」，各种文生视频、图生视频模型展现出了酷炫的效果。其中，长视频生成一直是现有视频扩散的痛点。