一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！ 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。 MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。
来自主题: AI资讯
3239 点击 2024-10-21 14:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！ 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。 MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。