搜索
最近，OpenAI 视频生成模型 Sora 的爆火，给基于 Transformer 的扩散模型重新带来了一波热度，比如 Sora 研发负责人之一 William Peebles 与纽约大学助理教授谢赛宁去年提出的 DiT（Diffusion Transformer）。
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。
2月28日，界面新闻从多个知情人士处获悉，字节跳动正在AI大模型领域秘密研发多个产品，其中包括多模态数字人产品以及AI生图、AI生视频产品等。
苹果电动汽车项目，通常被称为“泰坦计划”（Project Titan），于2014年启动，投入数十亿美金，"泰坦"（Titan）来源于希腊神话，与创造力和巨大神力相联系。
黄仁勋坚韧成芯片界传奇，英伟达市值破2万亿美元。
自曝996作息的OpenAI研究员Jason Wei表示，Sora代表着视频生成的GPT-2时刻。竞争的关键，就是算力和数据了。国内有可能成功「复刻」Sora吗？华人团队的这份37页技术报告，或许能给我们一些启发。
许久未更新大模型的英伟达推出了150亿参数的Nemotron-4，目标是打造一个能在单个A100/H100可跑的通用大模型。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
2月16日，OpenAI推出了堪称“王炸”的文生视频大模型Sora，AI军备竞赛的战场加速向多模态转移，这意味着相比寻常LLM更为丰富的场景与机会。此外，2024年将成为AI硬件元年的共识也基本形成，业界对AI在智能终端的应用寄予厚望，将其视为提振消费电子市场的关键。