
贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样
贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样Transformer大模型尺寸变化,正在重走CNN的老路!
来自主题: AI资讯
9405 点击 2024-08-01 17:30
Transformer大模型尺寸变化,正在重走CNN的老路!
用卷积能做出一样好的效果。
视频理解因大量时空冗余和复杂时空依赖,同时克服两个问题难度巨大,CNN 和 Transformer 及 Uniformer 都难以胜任,Mamba 是个好思路,让我们看看本文是如何创造视频理解的 VideoMamba。
距离ChatGPT、GPT-4等引爆新一轮人工智能变革的时刻,已经过去了整整一年的时间。在这一年里,国内外大量公司涌入大模型的“斗兽场”,加速大模型技术的迭代与跃迁。
在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。