关键词: 大模型,AI,Transformer,AI框架,CNN,模型训练

Transformer大模型尺寸变化，正在重走CNN的老路！

关键词: Transformer,AI框架,模型训练,位置编码,AI

RNN每个step的隐状态都取决于上一个step的输出，这种连续的状态转移方式使得RNN天然带有位置信息。

关键词: Transformer,AI框架,模型训练,AI,大模型

Transformer中的信息流动机制，被最新研究揭开了：

关键词: AI,AI框架,Transformer,陈丹琦

好家伙！为了揭秘Transformer内部工作原理，陈丹琦团队直接复现——

关键词: Mamba,Transformer,AI,大模型,Codestral Mamba

“欧洲OpenAI”和“Transformer挑战者”强强联合了！

关键词: LLM,AI,GPT-4,大模型,Transformer

把因果链展示给 LLM，它就能学会公理。

关键词: GPT-4,AI,Transformer,GenAI

来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。

关键词: Mamba,Transformer,AI框架,AI,模型训练

Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。

关键词: 大模型,AI,模型训练,Transformer

生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过，最新的研究突破了这一限制，表明在特定领域，如国际象棋，通过采用低温采样技术，这些模型能够超越它们所学习的那些专家，展现出更高的能力。

关键词: MoE,AI,Transformer ,LLM

释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。