手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。
来自主题: AI技术研报
6587 点击 2024-06-12 15:33
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。
上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。