2080 Ti就能跑70B大模型，上交大新框架让LLM推理增速11倍
2080 Ti就能跑70B大模型，上交大新框架让LLM推理增速11倍上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。
来自主题: AI资讯
4966 点击 2023-12-21 10:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。