手机流畅运行470亿大模型:上交大发布LLM手机推理框架PowerInfer-2,提速29倍 关键词: LLM,AI,大模型,PowerInfer-2,GPT-4o 苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 来自主题: AI技术研报 6203 点击 2024-06-12 15:33
2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍 关键词: 上交大LLM,PowerInfer,LLM 上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。 来自主题: AI资讯 4672 点击 2023-12-21 10:42