4GB 显存单卡居然能跑 70B 大模型了!
4GB 显存单卡居然能跑 70B 大模型了!大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
来自主题: AI资讯
7310 点击 2023-12-07 11:00
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。