大模型应用新战场:揭秘终端侧AI竞争关键|智在终端
大模型应用新战场:揭秘终端侧AI竞争关键|智在终端2024年过去2/3,大模型领域的一个共识开始愈加清晰:AI技术的真正价值在于其普惠性。没有应用,基础模型将无法发挥其价值。
来自主题: AI资讯
4959 点击 2024-09-03 10:15
2024年过去2/3,大模型领域的一个共识开始愈加清晰:AI技术的真正价值在于其普惠性。没有应用,基础模型将无法发挥其价值。
GPU功耗高,不适边缘计算;多种AI硬件适应边缘应用。
腾讯研究院AGI路线图系列专题一
从前两年的百模大战到大语言模型 LLM(Large Language Model)的逐步落地应用,端侧AI始终是人工智能技术发展中至关重要的一环。 所谓的端侧AI,即用户在使用过程中不依赖云服务器,直接在终端设备本地使用AI服务。相比于ChatGPT4.0和最新推出的Llama3.1等依赖于云端接口的主流大语言模型,设备端边缘应用的紧凑模型有较强的私密性,也具有个性化操作和节省成本等诸多优势。
如何在有限的内存下实现高效的大模型推理,是端侧AI发展的重要任务。
多模态大模型,首次本地部署在安卓手机上了!
纵观刚刚过去的MEET 2024智能未来大会,终端侧AI俨然成为其中一大热词。