AI资讯新闻榜单内容搜索-Transforme

关键词: LLM,AI,GPT-4,大模型,Transformer

把因果链展示给 LLM，它就能学会公理。

关键词: GPT-4,AI,Transformer,GenAI

来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。

关键词: Mamba,Transformer,AI框架,AI,模型训练

Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。

关键词: LowMemoryBP,反向传播,模型训练,微调,AI

自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段

关键词: 大模型,AI,模型训练,Transformer

生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过，最新的研究突破了这一限制，表明在特定领域，如国际象棋，通过采用低温采样技术，这些模型能够超越它们所学习的那些专家，展现出更高的能力。

关键词: MoE,AI,Transformer ,LLM

释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。

关键词: 神经网络,AI,LeCun,大模型,人工智能

神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。

关键词: CV,AI,patch,AI,视觉模型

下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。

关键词: AI,AI架构,TTT,Transformer

超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。

关键词: RNN,Transformer,大模型,AI,TTT

新架构，再次向Transformer发起挑战！