
张鹏对谈安克阳萌:GPU+Transformer 不是最终状态,大模型会催生新的硬件机会
张鹏对谈安克阳萌:GPU+Transformer 不是最终状态,大模型会催生新的硬件机会安克经常被国人认为是一家充电宝公司,但其实是个做细分品类的公司,充电宝收入只占他们收入的 10% 不到。2022 年,安克营收 20 亿美元,在充电和储能、影音设备、智能家居三个领域里,不少细分品类都做到了全球第一梯队。
安克经常被国人认为是一家充电宝公司,但其实是个做细分品类的公司,充电宝收入只占他们收入的 10% 不到。2022 年,安克营收 20 亿美元,在充电和储能、影音设备、智能家居三个领域里,不少细分品类都做到了全球第一梯队。
精彩精彩,第一个把爆火Mamba架构真正扩展到足够大的工作来了。 520亿参数,还是Mamba+Transformer混合架构。 它的名字叫Jamba。
【新智元导读】52B的生产级Mamba大模型来了!这个超强变体Jamba刚刚打破世界纪录,它能正面硬刚Transformer,256K超长上下文窗口,吞吐量提升3倍,权重免费下载。
Mamba时代来了?
让大模型自己动手,好过让人类动手。黄仁勋对话Transformer八子时,最后一位离开谷歌的论文作者Llion Jones,相信这是大模型技术的关键趋势。他还卖了个关子,预告他创立的Sakana AI马上就有大动作。
Transformer作者中唯一去了OpenAI的那位,公开承认了:他参与了Q*项目,是这项新技术的发明者之一。这几天除了英伟达老黄组局把Transformer作者聚齐,他们中的几位还接受了连线杂志的采访,期间出了这么一个小插曲。
把Huggingface上的现成模型拿来“攒一攒”—— 直接就能组合出新的强大模型?!日本大模型公司sakana.ai脑洞大开(正是“Transformer八子”之一所创办的公司),想出了这么一个进化合并模型的妙招。
去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。
视频理解因大量时空冗余和复杂时空依赖,同时克服两个问题难度巨大,CNN 和 Transformer 及 Uniformer 都难以胜任,Mamba 是个好思路,让我们看看本文是如何创造视频理解的 VideoMamba。
淘天在AI电商上迈出的重要一步。Tech星球独家获悉,淘宝天猫集团自研大模型“淘宝星辰”官网已经上线,这也是淘天集团公开的首个自研大模型。官网除了显示该大模型的介绍外,还设置有“立即体验”和“登录/注册”入口,或将在不久对外开放。