关键词: 上交大LLM,PowerInfer,LLM

上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。