
想跑千亿大模型?算力厂商放大招!CPU通用服务器成为新选择
想跑千亿大模型?算力厂商放大招!CPU通用服务器成为新选择千亿参数规模的大模型推理,服务器仅用4颗CPU就能实现!
来自主题: AI资讯
6505 点击 2024-08-01 15:35
千亿参数规模的大模型推理,服务器仅用4颗CPU就能实现!
英伟达股价这周又坐上了过山车。 截至周三收盘,英伟达股价大涨13%,市值暴增3290亿美元,再次刷新过去几个月自己创下的单日纪录。
埃隆·马斯克掌控的那几家公司——包括SpaceX、特斯拉、xAI乃至X(原Twitter)——都需要大量的GPU,而且也都是为自己的特定AI或者高性能计算(HPC)项目服务。
「光合作用」破局中国算力,加速「智变」。
就在刚刚,老黄在SIGGRAPH大会上透露:Blackwell的工程样片,已在本周正式向全世界发送!随后,老黄和小扎展开了炉边对话,并且亲密换衣,说到激动处,小扎气得一度爆粗。
Tenstorrent推AI芯片挑战昂贵HBM,追求成本效益。
每3个小时1次、平均1天8次,Llama 3.1 405B预训练老出故障,H100是罪魁祸首?
助推专用算力加速,面向边缘端、云端大模型提供推理算力芯片。
芯片巨头英伟达,在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。
英特尔用“光”,突破了大模型时代棘手的算力难题—— 推出业界首款全集成OCI(光学计算互连)芯片。