T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
来自主题: AI资讯
4763 点击 2024-08-13 17:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
有CPU就能跑大模型，性能甚至超过NPU/GPU！