手机行业的第三次重大变革开始了。
最近一段时间,AI 与大模型技术突飞猛进。春节刚过,前沿方向上就迎来了新一轮突破。
OpenAI 的 Sora 一下子把 AI 视频生成的进度条拉快了半年。
在大模型的应用领域,技术落地应用的速度也在加快。目前各家大厂的新一代旗舰手机已经悉数登场,它们绝大多数都搭载了大模型,能实现很多前所未有的功能。
图片来自高通骁龙 8Gen3 宣传片:https://www.youtube.com/watch?v=0CqtpjlL25w
为什么大家都选择在 2024 年入局 AI ?
答案似乎很明确。随着大模型逐步成熟、芯片端侧算力的增强,手机厂商有了明确的判断:2024 年将是 AI 手机的元年。
不过面对一致的目标,各家打法不尽相同:很多手机开始引入云端大模型应用,也有一些实现了小尺寸模型的端侧跑通。在这其中,已经落地多个 AI 功能的 OPPO Find X7 系列正在获得越来越多的认可。
它做到了很多个「第一」:Find X7 是全球首个端侧应用 70 亿参数大语言模型的手机。
它还是第一个支持 AI 通话摘要的手机,让用户可以在通话结束后让 AI 一键生成摘要,并自动生成待办事项和提醒:
有了手机端 AI 大模型的加持,智能助手也不再是个「摆设」,OPPO 的小布助手实现了跨越式的体验提升。
现在的小布能够更好地理解自然语言,还可以回答各种刁钻的问题。它拥有超过 100 种能力,包括文字生成图片、图片解释、AI 文章摘要等,能在办公效率、生活服务、学习教育等不同维度为用户提供帮助。
比如你可以问小布为什么饼干上有很多小孔,并要求它以「四岁孩子能理解的方式」回答:
OPPO 还带来了全新的 AIGC 消除功能。以往需要电脑专业软件复杂操作的改图任务,现在在手机上只需要简单一圈 AI 就能帮你完成主体消除、实景重绘。在这个过程中,大模型还能进行一定程度的「创作」,脑补出背景,得到一张没有人潮的风景照:
Find X7 的大模型能力不仅支持超过 120 类主体的识别与分割,还可以实现发丝级的分割、多达 6 个的多主体分离。这就是手机端生成式 AI 时代的拍照新体验。
手机作为最常见的消费电子产品,一直是各种 AI 技术优先落地的方向,AI 美颜、AI 助手等功能早已是智能手机的标配。而随着大模型的兴起,手机作为人类「外延器官」了解用户的优势,再加上生成式 AI 前所未有的突破,又带来了更智能、个性化的体验和更多样的玩法。
AI 手机或许将是继功能机、智能机之后,手机行业的第三个重大变革阶段。而在这场变革中,OPPO 提前为我们展示了大模型技术突破后,手机的全新形态。
OPPO Find X7 能够实现的很多新能力,得益于端侧运行的 70 亿参数大模型。
在这代旗舰机上,首次搭载了OPPO 自主训练的 AndesGPT 70 亿参数大模型。通过端云协同的部署,它实现了领先不止一代的 AI 体验。相比 10 亿参数模型,该模型能展现出更高「智商」的理解能力,可以更准确地理解对话内容并生成重点明确、细节丰富的摘要内容。
相比于同平台的其他模型,AndesGPT 70 亿参数版可以在 2000 字首字生成时带来 20 倍的更快响应,最高对 1.4 万字进行内容摘要,是其他模型的 3.5 倍,对话体验也更接近人类对话的速度与信息量。
我们知道,当前的大模型军备竞赛中,各家科技公司都在抢购 GPU,毕竟跑大模型很耗费算力。要在算力与内存有限的手机上运行大模型并不是件简单的事,OPPO 是如何做到的?
这是因为在新一代手机上,OPPO 实现了面向大模型,从软件、硬件到云平台的全面优化。
首先,OPPO 与平台厂商进行紧密协作,基于对芯片的理解,和一直以来对于用户需求的洞察和理解,根据大模型和算法深度定制了 SoC 芯片,提升了高负载条件下芯片的运行调度,进而优化了大模型的运行效率。
对于用户需求的洞察和理解是 OPPO 的核心竞争力,通话智能摘要就是个好例子:通话录音是业内早已出现的功能,但将传统的通话录音与端侧大模型结合,就带来了颠覆传统应用的全新 AI 体验。
大模型部署在端侧,除了需要计算资源的极致优化,另一个瓶颈在于存储。
在正常情况下,70 亿参数的大模型需要占用 28GB 内存。为了真正实现端侧部署,OPPO 用 INT4 量化的方式对模型进行了大幅度压缩,让原本占用 28GB 内存的模型现在只需要 3.9GB,既降低了资源需求,也几乎不影响 AI 模型的输出效果。
「大模型在端侧性能消耗比较大,要通过并行计算的算子优化、对内存管理的优化等来降低损耗和系统资源占用。续航方面要根据用机情况来看,我们端侧大模型的功耗控制在用户可以接受的范围内」OPPO AI 中心产品总监张峻表示。
OPPO 还是第一家真正意义上把端侧 70 亿参数大模型同时部署在高通和 MTK 两个不同平台的手机厂商,对用户「一视同仁」的同时,也验证了自身对 AI 优化部署的能力。目前,端侧视觉模型的手机端部署也被列在了他们的日程表上。
对于生成式 AI 能力来说,有时端侧模型无法处理的复杂任务,需要把数据传到云端,利用服务器端 AI 加速器的力量;而很多包含个人信息和偏好的信息,需要在手机端侧预先处理,以保证隐私。
大模型的端云协同,是目前行业的共识。
在这一方面,OPPO 在发布 AndesGPT 大模型时,提出了通过三级大模型部署策略实现的端云联合部署,满足了多场景高效适配。
在端云协同的架构下,OPPO AI 手机的算力供给不再局限于本地,同时用户信息也能保证不被泄露 —— 用户数据仅在端侧计算,云端更强大的计算能力则面向复杂任务处理,既提高了大模型计算时的整体性能和效率,也保证了安全。
AI 技术能力之外,OPPO 还有一个大战略。
其实,OPPO 已在 AI 领域深耕多年:早在2020年,OPPO就已经开始探索大语言模型的训练、应用与落地,首个自研大模型 OBERT一度跃居中文大规模知识图谱问答KgCLUE排行榜的首位;2023 年,OPPO 自主训练的安第斯大模型(AndesGPT)在 Super CLUE 知识与百科能力排行榜上仅次于 GPT 4,领先于所有竞品。
此外,Find X7 上在端侧应用的 70 亿大模型,AI 算力跑分也在安卓榜单上名列第一。
OPPO 创始人兼 CEO 陈明永判断,2024 年将是 AI 手机元年,五年内 AI 对手机行业的影响将不可忽视。
2 月 20 日,OPPO 召开 AI 战略发布会,分享了他们在 AI 战略上详细的规划。
OPPO 对真正的 AI 手机下了定义,认为其需要具备以下四大特征:
为了适应这些能力需求,手机行业需要进行全面的技术革新与生态重构:在硬件架构上,高效能的 AI 算力底座、模型库的管理优化以及智慧仿生感知能力将成为 AI 手机的新的标准。AI 手机的 OS 系统通过内嵌智能体,将能高效地处理复杂任务,并可以主动创作。
另一方面,未来的 AI 手机将支持更敏锐、更准确的自然语义理解,拥有更强大的自学习能力,可提供更符合直觉的多模态交互。由此看来,传统的应用生态将会在 AI 手机时代转向智能体生态,各类服务应用都会与 AI 能力无缝连接,实现真正的智能化服务。
为此,OPPO 已经做足了准备。在云端算力上,OPPO 拥有能够支持千亿级 AI 模型训练的 OPPO AI 滨海湾数据中心,支持两毫秒的骨干网络链接超低时延,以及 100% 的纯绿色能源。
未来,OPPO 将在算力上持续投入,部署 AndesGPT Titan、Turbo、Tiny 三个级别的模型以对应不同应用场景。
在 Agent 能力上,OPPO 正式发布了 1+N 智能体生态战略。其中的「1」代表 OPPO AI 超级智能体,它基于知识图谱、文档数据以及搜索引擎,能精准理解用户意图,给出准确结果,充分调用其他多种工具;「N」则代表基于 OPPO AI Pro 智能体开发平台所赋能的全新智能体生态。
相比大模型智能助手,智能体是更加快捷和主动的 AI 助手,可以根据你的设定,以最有效的方式完成各种目标,满足情感陪伴、求知探索、娱乐闲聊等多样的场景需求。同时,构建智能体的方法非常简便,无需编程代码基础,人们只需和大模型进行自然语言对话,提供必要的说明和知识即可。
智能体也可以与大模型以外的其他服务相连接,访问更多信息和手机功能,以通用化的能力满足用户的各类需求。
更重要的是,OPPO 的 1+N 也意味着联合更多合作伙伴与开发者。随着智能体布局的展开,人们就能共同打造出面向 AI 手机生态的服务体系。
就像智能手机上的 APP 应用市场。不过这次,由 AI 连接的服务能力更强,与你的连接更紧密。
OPPO 还在继续加码 AI。战略发布会上,OPPO 正式宣布成立 AI 中心,旨在整合研发资源,针对 AI 进行能力建设与研发。刘作虎表示,AI 中心的成立将汇聚整个公司的力量,已把 AI 作为手机下一个时代最重要的战略,对于投入不设上限。
这还只是个开始。毕竟大模型是一个「改变世界」的技术,所有领域的应用都要用 AI 重做一遍。
最近,在人工智能上,很多人都有大动作:苹果停止了自己持续多年的造车项目,并将探索重点也转向生成式 AI;谷歌在发布原生多模态大模型 Gemini 时宣布,未来大模型会整合至安卓系统中;而高通在 MWC 大会上推出的新一代 AI Hub,已支持超过 75 种主流 AI 模型在端侧的加速。现在,从手机厂商到科技公司,再到芯片公司,英雄所见略同。
我们可以预见,随着技术的进步与行业生态的构建,未来我们还会看到更加智能化的拍照、更快捷的人机交互、更加个性化的内容生成和更高效的任务处理。
使用生成式 AI,过去复杂的工作将会变得更简单。人们可以无需打开专业软件,仅发出口头指令就能让 AI 自动完成复杂的工作,大幅提升工作效率。
部署在端侧的生成式 AI,也可以让智能手机更加了解用户的习惯和所处位置。利用情境信息,数字助手将会更加个性化,带来更令人满意的答案,提供更主动的服务。
更进一步,随着 AI 生成能力逐步进入多模态领域,下一代 AI 渲染工具将能利用文本、语音、图像或视频等各种类型的提示生成 3D 物体和场景,最终创造出全新的沉浸式内容体验。
一句话,AI 手机将会为我们带来一场革命。
随着 OPPO 等手机厂商对 AI 技术的不断推动,我们与想象之间的距离已经近了。
文章来自于 微信公众号“机器之心”,作者 “机器之心”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。
项目地址:https://github.com/InternLM/MindSearch
在线使用:https://mindsearch.openxlab.org.cn/
【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。
项目地址:https://github.com/miurla/morphic/tree/main
在线使用:https://www.morphic.sh/