关键词: GPU,模型稀疏化,模型训练,SliceGPT

大语言模型之大，成本之高，让模型的稀疏化变得至关重要。

关键词: SliceGPT,LLAMA-2,模型训练

删除权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务性能，同时计算效率大大提升。这就是微软 SliceGPT 的威力。