模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。
来自主题: AI技术研报
6526 点击 2025-04-28 15:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。
LLM的规模爆炸式增长，传统量化技术虽能压缩模型，却以牺牲精度为代价。莱斯大学团队的最新研究DFloat11打破这一僵局：它将模型压缩30%且输出与原始模型逐位一致！更惊艳的是，通过针对GPU的定制化解压缩内核，DFloat11使推理吞吐量提升最高38.8倍。