让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
来自主题: AI技术研报
6082 点击 2024-03-09 14:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！