AI资讯新闻榜单内容搜索-Transforme

关键词: DUSt3R,AI 3D,Transformer

这个名为DUSt3R的新工具，火得一塌糊涂，才上线没多久就登上GitHub热榜第二。

关键词: DeepMind,Llama 2,Transformer

线性RNN赢了？近日，谷歌DeepMind一口气推出两大新架构，在d基准测试中超越了Transformer。新架构不仅保证了高效的训练和推理速度，并且成功扩展到了14B。

关键词: RNN,Transformer,Mamba,模型训练,DeepMind

去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。

关键词: GPT,Transformer,模型训练

GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。

关键词: Mamba,Transformer,AI框架,AI算法

几天前，ICLR 2024 的最终接收结果出来了。

关键词: sora,VDT,视频扩散模型,Video Diffusion Transformer

2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。

关键词: Transformer,Searchformer,LLM,模型训练

最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。

关键词: 蒋路,Sora,AI视频模型,Transformer

谷歌Research Lead，负责VideoPoet项目的蒋路，即将加入TikTok，负责视频生成AI的开发。

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。

关键词: Gemini 1.5,token, transformers,GPT-4V

我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。