想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速
想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。
来自主题: AI技术研报
7671 点击 2024-02-29 13:35
根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。
扩散模型,迎来了一项重大新应用——像Sora生成视频一样,给神经网络生成参数,直接打入了AI的底层!
用剪枝的方式加速AI训练,也能实现无损操作了,只要三行代码就能完成!今年的深度学习顶会ICLR上,新加坡国立大学尤洋教授团队的一项成果被收录为Oral论文。