解剖Sora：37页论文逆向工程推测技术细节，微软参与，华人团队出品
解剖Sora：37页论文逆向工程推测技术细节，微软参与，华人团队出品Sora刚发布不久，就被逆向工程“解剖”了？！
来自主题: AI技术研报
7933 点击 2024-03-02 14:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Sora刚发布不久，就被逆向工程“解剖”了？！
Google 最近在大模型上动作不断，先是发布了性能更强大的多模态 Gemini 1.5 Pro，然后是开源的小模型 Gemma，评测结果超过了 7b 量级的 Llama 2。
经过了2023年ChatGPT和2024年Sora对“AI改变人类未来”的铺垫后，当下中国的手机厂商正带着一大批“AI手机”扑面而来。
Ideogram凭借不输Midjourney的生图能力和遥遥领先的图片中文字渲染能力，获得了包括Jeff Dean和Karpathy在内一众大佬的8000万美元融资，文生图这条离钱最近的AI赛道又加入了一名重量级选手。
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。
一项世界前沿的医学研究，需要用多久才能被应用到平常老百姓的日常就医中？3个月。
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。
终于有OpenAI之外的人，放出自己亲测的Sora视频了！
自曝996作息的OpenAI研究员Jason Wei表示，Sora代表着视频生成的GPT-2时刻。竞争的关键，就是算力和数据了。国内有可能成功「复刻」Sora吗？华人团队的这份37页技术报告，或许能给我们一些启发。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。