拿20年前的苹果“古董”笔记本跑模型推理：九分之一现代CPU速度，但成功了
拿20年前的苹果“古董”笔记本跑模型推理：九分之一现代CPU速度，但成功了众所周知，大语言模型（LLM）往往对硬件要求很高。
来自主题: AI资讯
4068 点击 2025-04-09 08:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
众所周知，大语言模型（LLM）往往对硬件要求很高。
本文介绍了英特尔®至强®处理器在AI推理领域的优势，如何使用一键部署的镜像进行纯CPU环境下基于AMX加速后的DeepSeek-R1 7B蒸馏模型推理，以及纯CPU环境下部署DeepSeek-R1 671B满血版模型实践。
2月26日，美光宣布已率先向生态系统合作伙伴及特定客户出货专为下一代CPU设计的 1γ(1-gamma) 第六代 (10纳米级) DRAM节点DDR5内存样品。
国产AI几何模型性能达IMO金牌水平，打平谷歌DeepMind最新AlphaGeometry系列——
DeepSeek的含金量还在上升，一个半个周末过去发生这些大事：国家超算互联网平台上线DeepSeek-R1，最高支持671B的满血版。达摩院玄铁芯片成功适配DeepSeek-R1系列蒸馏模型，在RISC-V架构CPU和端侧平台打开新的应用空间。
为啥性能最好的开源CPU是中国的？
CPU+GPU，模型KV缓存压力被缓解了。 来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG，通过在CPU上使用LSH（局部敏感哈希）采样技术，有效克服了GPU内存容量限制的问题。
GPU新核弹B300，以及附带CPU的超级芯片GB300。 高算力，在产品层面上相比B200在FLOPS上提高50% 大显存，从192GB提升到288GB，也是提高了50%。
联想第六代“海神”液冷技术，已实现支持多类型GPU、CPU，散热效率可达98%，PUE最佳可降至1.1，极大降低了数据中心的能耗水平。
明年的国际消费类电子产品展览会（CES 2025）将在北京时间 1 月 8 日至 11 日举行，包括英特尔、英伟达和 AMD 在内的各大 CPU、GPU 厂商将带着自家最新产品闪亮登场。