让大模型“瘦身”90%!清华&哈工大提出极限压缩方案:1bit量化,能力同时保留83% 关键词: 大模型,大模型训练,OneBit 对大模型进行量化、剪枝等压缩操作,是部署时最常见不过的一环了。 来自主题: AI技术研报 5663 点击 2024-03-09 14:51
清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了! 关键词: 大模型训练,大模型压缩,OneBit 近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能! 来自主题: AI技术研报 7492 点击 2024-03-03 18:06