GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?是时候用CPU通用服务器跑千亿参数大模型了!
来自主题: AI资讯
8177 点击 2024-08-01 16:19
是时候用CPU通用服务器跑千亿参数大模型了!
千亿参数规模的大模型推理,服务器仅用4颗CPU就能实现!
英特尔用“光”,突破了大模型时代棘手的算力难题—— 推出业界首款全集成OCI(光学计算互连)芯片。
AI一天,人间一年。
AI对计算栈的改变远超过去50年各种变化的总和。
今日,英特尔推出英特尔® 至强® 6能效核处理器,每个 CPU 拥有多达 144 个内核,机架密度提高达3倍1,以高性能、高密度、高能效和低TCO,满足多样的云级工作负载,是数据中心高效能之选。
AMD在Computex主题演讲上大出风头,推出了首批Zen 5处理器,包括台式机用Ryzen 9000 CPU和笔记本电脑用Ryzen AI 300「Strix Point 」APU。除此之外,AMD还宣布了芯片年更计划以及备受期待的第五代EPYC Turin处理器。
医学影像,越来越需要AI的帮助了。
那个号称40年来最大技术架构变革的英特尔® 酷睿™ Ultra处理器,用起来到底怎样?
一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」