史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造生成式 AI 推理性价比是 GPU 的 140 倍。
生成式 AI 推理性价比是 GPU 的 140 倍。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能,但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数,采用FP16存储,模型大小约为350GB,而即使是英伟达最新的B200 GPU 内存也只有192GB ,更不用说其他GPU和边缘设备。
【新智元导读】老黄新GPU深夜炸场,超高规格的背后也付出了不小的代价,小编带大家深入了解一下新架构的硬件细节和成本,新显卡的售价究竟高不高?英伟达也不得不开始卷了
8年时间,英伟达AI芯片的算力增长了1000倍。当地时间3月18日,英伟达在2024 GTC大会上发布了多款芯片、软件产品。 创始人黄仁勋表示:“通用计算已经失去动力,现在我们需要更大的AI模型,更大的GPU,需要将更多GPU堆叠在一起。这不是为了降低成本,而是为了扩大规模。”
如今炙手可热的AI PC之战,英伟达也下场了!RTX GPU给1亿打工人加持的算力,已经破了纪录,生图、视频、会议、直播,统统被RTX AI史诗级升级;《黑神话:悟空》《永劫无间》的玩家,更是双厨狂喜!
本文介绍了英伟达发布的最新AI芯片B200,该芯片在性能和成本方面都有显著的突破。然而,尽管英伟达在技术上领先,但市场分析师对其股价的持续上涨表示担忧。
整个AI圈最想知道的秘密,被老黄在PPT某页的小字里写出来了?