GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？
GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？是时候用CPU通用服务器跑千亿参数大模型了！
来自主题: AI资讯
7387 点击 2024-08-01 16:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
是时候用CPU通用服务器跑千亿参数大模型了！
千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！
英伟达股价这周又坐上了过山车。 截至周三收盘，英伟达股价大涨13％，市值暴增3290亿美元，再次刷新过去几个月自己创下的单日纪录。
埃隆·马斯克掌控的那几家公司——包括SpaceX、特斯拉、xAI乃至X（原Twitter）——都需要大量的GPU，而且也都是为自己的特定AI或者高性能计算（HPC）项目服务。
「光合作用」破局中国算力，加速「智变」。
就在刚刚，老黄在SIGGRAPH大会上透露：Blackwell的工程样片，已在本周正式向全世界发送！随后，老黄和小扎展开了炉边对话，并且亲密换衣，说到激动处，小扎气得一度爆粗。
Tenstorrent推AI芯片挑战昂贵HBM，追求成本效益。
每3个小时1次、平均1天8次，Llama 3.1 405B预训练老出故障，H100是罪魁祸首？
助推专用算力加速，面向边缘端、云端大模型提供推理算力芯片。
芯片巨头英伟达，在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。