a16z 合伙人 Jennifer Li 最近分享了她对生成式 AI 的最新见解,特别提到了设备端运行的小型模型在未来的重要性。
去年 4 月,Jennifer 升任为 a16z 第 27 位普通合伙人,并在 a16z 新成立的 12.5 亿美元 AI 基础设施基金扮演关键角色。
Jennifer 表示,生成图像、语音和视频的生成式模型将在基础设施和设备计算能力方面变得更加普及,这为小型模型的崛起提供了绝佳条件,而在设备端运行的小型生成式 AI 模型将在 2025 年更加流行。
许多日常使用的应用程序,比如Uber、Instacart、Lyft或Airbnb,已经在设备端运行了大量机器学习模型。然而,她特别想强调的是生成式模型,它们正在逐渐实现类似传统机器学习模型的设备端运行。
Jennifer 表示,如今的智能手机计算能力相当于 10~20 年前的电脑,加上摩尔定律的作用,像 20 亿或 80 亿参数的小型模型,已经足够在设备端高效运行,并提供强大的功能,这一变化得益于设备计算能力的提升和模型优化技术的进步 。
此外,她还提到蒸馏技术发展也是一大关键。这项技术可以将一个功能强大的大型模型压缩成较小的模型,同时保留大部分能力,这种技术结合设备计算能力的提升,为小型模型的广泛应用奠定了基础。
相比云端运行,设备端运行生成式模型有许多显著优势。首先是实时性。用户希望与聊天机器人互动时能够立即收到响应,或者在社交媒体中添加滤镜时无需等待几秒钟加载。设备端运行能够显著减少延迟,为用户提供更加流畅和直观的体验。
然后是隐私保护。如果数据处理可以完全在本地完成,比如会议记录功能,大多数用户会更加愿意使用这些应用,而不用担心隐私数据被上传到服务器进行处理。
经济性和效率也是重要因素。虽然云端推理的成本正在下降,但设备端运行可以进一步优化开发者的效率,加快迭代速度,并降低一部分基础设施的依赖。
某些计算密集型任务可能仍需要云端支持,但许多日常应用场景完全可以通过本地模型实现,从而减少对网络和服务器的依赖。
她还提到,设备端模型的潜力正在释放,在未来我们可能会看到以下应用场景的广泛普及:
虽然设备端模型带来了诸多可能性,但仍面临一些挑战。例如,设备端模型需要随着硬件和应用的更新而同步迭代,开发和部署成本也可能有所增加。
另外,云端和设备端结合的经济模式需要重新设计,这将对整个供应链产生深远影响。
Jennifer 认为生成式 AI 在设备端的普及正在重塑用户体验、隐私保护和开发生态。
随着技术和基础设施的进一步发展,混合现实和生成式 AI 的结合将为我们创造前所未有的沉浸式体验,并开创全新的消费领域。
文章来自微信公众号“有新Newin”,作者“有新”
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales