AI计算爆发，吴泳铭力挺GPU计算，CPU真要沦为配角了？
AI计算爆发，吴泳铭力挺GPU计算，CPU真要沦为配角了？群雄逐鹿AI计算。
来自主题: AI资讯
6456 点击 2024-09-20 15:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
群雄逐鹿AI计算。
前些天，OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，给 o1-mini 发送 50 条消息。
当电信网络用上了大模型，会是一种什么体验？
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
有CPU就能跑大模型，性能甚至超过NPU/GPU！
是时候用CPU通用服务器跑千亿参数大模型了！
千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！
英特尔用“光”，突破了大模型时代棘手的算力难题—— 推出业界首款全集成OCI（光学计算互连）芯片。
AI一天，人间一年。