ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
生成式 AI 时代,手机正在进行一次全栈革新?
5784点击    2024-03-05 14:12
手机行业的第三次重大变革开始了。


最近一段时间,AI 与大模型技术突飞猛进。春节刚过,前沿方向上就迎来了新一轮突破。



OpenAI 的 Sora 一下子把 AI 视频生成的进度条拉快了半年。


在大模型的应用领域,技术落地应用的速度也在加快。目前各家大厂的新一代旗舰手机已经悉数登场,它们绝大多数都搭载了大模型,能实现很多前所未有的功能。



图片来自高通骁龙 8Gen3 宣传片:https://www.youtube.com/watch?v=0CqtpjlL25w


为什么大家都选择在 2024 年入局 AI ?


答案似乎很明确。随着大模型逐步成熟、芯片端侧算力的增强,手机厂商有了明确的判断:2024 年将是 AI 手机的元年。


不过面对一致的目标,各家打法不尽相同:很多手机开始引入云端大模型应用,也有一些实现了小尺寸模型的端侧跑通。在这其中,已经落地多个 AI 功能的 OPPO Find X7 系列正在获得越来越多的认可。


它做到了很多个「第一」:Find X7 是全球首个端侧应用 70 亿参数大语言模型的手机。


它还是第一个支持 AI 通话摘要的手机,让用户可以在通话结束后让 AI 一键生成摘要,并自动生成待办事项和提醒:



有了手机端 AI 大模型的加持,智能助手也不再是个「摆设」,OPPO 的小布助手实现了跨越式的体验提升。


现在的小布能够更好地理解自然语言,还可以回答各种刁钻的问题。它拥有超过 100 种能力,包括文字生成图片、图片解释、AI 文章摘要等,能在办公效率、生活服务、学习教育等不同维度为用户提供帮助。


比如你可以问小布为什么饼干上有很多小孔,并要求它以「四岁孩子能理解的方式」回答:



OPPO 还带来了全新的 AIGC 消除功能。以往需要电脑专业软件复杂操作的改图任务,现在在手机上只需要简单一圈 AI 就能帮你完成主体消除、实景重绘。在这个过程中,大模型还能进行一定程度的「创作」,脑补出背景,得到一张没有人潮的风景照:



Find X7 的大模型能力不仅支持超过 120 类主体的识别与分割,还可以实现发丝级的分割、多达 6 个的多主体分离。这就是手机端生成式 AI 时代的拍照新体验。


手机作为最常见的消费电子产品,一直是各种 AI 技术优先落地的方向,AI 美颜、AI 助手等功能早已是智能手机的标配。而随着大模型的兴起,手机作为人类「外延器官」了解用户的优势,再加上生成式 AI 前所未有的突破,又带来了更智能、个性化的体验和更多样的玩法。


AI 手机或许将是继功能机、智能机之后,手机行业的第三个重大变革阶段。而在这场变革中,OPPO 提前为我们展示了大模型技术突破后,手机的全新形态。


端侧 70 亿参数大模型

为什么 OPPO 做到了?


OPPO Find X7 能够实现的很多新能力,得益于端侧运行的 70 亿参数大模型。


在这代旗舰机上,首次搭载了OPPO 自主训练的 AndesGPT 70 亿参数大模型。通过端云协同的部署,它实现了领先不止一代的 AI 体验。相比 10 亿参数模型,该模型能展现出更高「智商」的理解能力,可以更准确地理解对话内容并生成重点明确、细节丰富的摘要内容。


相比于同平台的其他模型,AndesGPT 70 亿参数版可以在 2000 字首字生成时带来 20 倍的更快响应,最高对 1.4 万字进行内容摘要,是其他模型的 3.5 倍,对话体验也更接近人类对话的速度与信息量。



我们知道,当前的大模型军备竞赛中,各家科技公司都在抢购 GPU,毕竟跑大模型很耗费算力。要在算力与内存有限的手机上运行大模型并不是件简单的事,OPPO 是如何做到的?


这是因为在新一代手机上,OPPO 实现了面向大模型,从软件、硬件到云平台的全面优化。


首先,OPPO 与平台厂商进行紧密协作,基于对芯片的理解,和一直以来对于用户需求的洞察和理解,根据大模型和算法深度定制了 SoC 芯片,提升了高负载条件下芯片的运行调度,进而优化了大模型的运行效率。



对于用户需求的洞察和理解是 OPPO 的核心竞争力,通话智能摘要就是个好例子:通话录音是业内早已出现的功能,但将传统的通话录音与端侧大模型结合,就带来了颠覆传统应用的全新 AI 体验。


大模型部署在端侧,除了需要计算资源的极致优化,另一个瓶颈在于存储。


在正常情况下,70 亿参数的大模型需要占用 28GB 内存。为了真正实现端侧部署,OPPO 用 INT4 量化的方式对模型进行了大幅度压缩,让原本占用 28GB 内存的模型现在只需要 3.9GB,既降低了资源需求,也几乎不影响 AI 模型的输出效果。


「大模型在端侧性能消耗比较大,要通过并行计算的算子优化、对内存管理的优化等来降低损耗和系统资源占用。续航方面要根据用机情况来看,我们端侧大模型的功耗控制在用户可以接受的范围内」OPPO AI 中心产品总监张峻表示。


OPPO 还是第一家真正意义上把端侧 70 亿参数大模型同时部署在高通和 MTK 两个不同平台的手机厂商,对用户「一视同仁」的同时,也验证了自身对 AI 优化部署的能力。目前,端侧视觉模型的手机端部署也被列在了他们的日程表上。


对于生成式 AI 能力来说,有时端侧模型无法处理的复杂任务,需要把数据传到云端,利用服务器端 AI 加速器的力量;而很多包含个人信息和偏好的信息,需要在手机端侧预先处理,以保证隐私。


大模型的端云协同,是目前行业的共识。


在这一方面,OPPO 在发布 AndesGPT 大模型时,提出了通过三级大模型部署策略实现的端云联合部署,满足了多场景高效适配。



在端云协同的架构下,OPPO AI 手机的算力供给不再局限于本地,同时用户信息也能保证不被泄露 —— 用户数据仅在端侧计算,云端更强大的计算能力则面向复杂任务处理,既提高了大模型计算时的整体性能和效率,也保证了安全。


AI 技术能力之外,OPPO 还有一个大战略。


加码 AI 战略

人工智能投入无上限


其实,OPPO 已在 AI 领域深耕多年:早在2020年,OPPO就已经开始探索大语言模型的训练、应用与落地,首个自研大模型 OBERT一度跃居中文大规模知识图谱问答KgCLUE排行榜的首位;2023 年,OPPO 自主训练的安第斯大模型(AndesGPT)在 Super CLUE 知识与百科能力排行榜上仅次于 GPT 4,领先于所有竞品。


此外,Find X7 上在端侧应用的 70 亿大模型,AI 算力跑分也在安卓榜单上名列第一。


OPPO 创始人兼 CEO 陈明永判断,2024 年将是 AI 手机元年,五年内 AI 对手机行业的影响将不可忽视。


2 月 20 日,OPPO 召开 AI 战略发布会,分享了他们在 AI 战略上详细的规划。



OPPO 对真正的 AI 手机下了定义,认为其需要具备以下四大特征:


  • 能高效利用计算资源,满足生成式 AI 的计算需要;
  • 能敏锐感知真实世界,了解用户与环境的复杂信息;
  • 有强大的自我学习能力;
  • 具备更充沛的创作能力,为用户提供持续的灵感与知识支持。


为了适应这些能力需求,手机行业需要进行全面的技术革新与生态重构:在硬件架构上,高效能的 AI 算力底座、模型库的管理优化以及智慧仿生感知能力将成为 AI 手机的新的标准。AI 手机的 OS 系统通过内嵌智能体,将能高效地处理复杂任务,并可以主动创作。


另一方面,未来的 AI 手机将支持更敏锐、更准确的自然语义理解,拥有更强大的自学习能力,可提供更符合直觉的多模态交互。由此看来,传统的应用生态将会在 AI 手机时代转向智能体生态,各类服务应用都会与 AI 能力无缝连接,实现真正的智能化服务。



为此,OPPO 已经做足了准备。在云端算力上,OPPO 拥有能够支持千亿级 AI 模型训练的 OPPO AI 滨海湾数据中心,支持两毫秒的骨干网络链接超低时延,以及 100% 的纯绿色能源。


未来,OPPO 将在算力上持续投入,部署 AndesGPT Titan、Turbo、Tiny 三个级别的模型以对应不同应用场景。



在 Agent 能力上,OPPO 正式发布了 1+N 智能体生态战略。其中的「1」代表 OPPO AI 超级智能体,它基于知识图谱、文档数据以及搜索引擎,能精准理解用户意图,给出准确结果,充分调用其他多种工具;「N」则代表基于 OPPO AI Pro 智能体开发平台所赋能的全新智能体生态。


相比大模型智能助手,智能体是更加快捷和主动的 AI 助手,可以根据你的设定,以最有效的方式完成各种目标,满足情感陪伴、求知探索、娱乐闲聊等多样的场景需求。同时,构建智能体的方法非常简便,无需编程代码基础,人们只需和大模型进行自然语言对话,提供必要的说明和知识即可。


智能体也可以与大模型以外的其他服务相连接,访问更多信息和手机功能,以通用化的能力满足用户的各类需求。


更重要的是,OPPO 的 1+N 也意味着联合更多合作伙伴与开发者。随着智能体布局的展开,人们就能共同打造出面向 AI 手机生态的服务体系。


就像智能手机上的 APP 应用市场。不过这次,由 AI 连接的服务能力更强,与你的连接更紧密。


OPPO 还在继续加码 AI。战略发布会上,OPPO 正式宣布成立 AI 中心,旨在整合研发资源,针对 AI 进行能力建设与研发。刘作虎表示,AI 中心的成立将汇聚整个公司的力量,已把 AI 作为手机下一个时代最重要的战略,对于投入不设上限。


大模型加持的手机

还会如何进化?


这还只是个开始。毕竟大模型是一个「改变世界」的技术,所有领域的应用都要用 AI 重做一遍。


最近,在人工智能上,很多人都有大动作:苹果停止了自己持续多年的造车项目,并将探索重点也转向生成式 AI;谷歌在发布原生多模态大模型 Gemini 时宣布,未来大模型会整合至安卓系统中;而高通在 MWC 大会上推出的新一代 AI Hub,已支持超过 75 种主流 AI 模型在端侧的加速。现在,从手机厂商到科技公司,再到芯片公司,英雄所见略同。


我们可以预见,随着技术的进步与行业生态的构建,未来我们还会看到更加智能化的拍照、更快捷的人机交互、更加个性化的内容生成和更高效的任务处理。


使用生成式 AI,过去复杂的工作将会变得更简单。人们可以无需打开专业软件,仅发出口头指令就能让 AI 自动完成复杂的工作,大幅提升工作效率。


部署在端侧的生成式 AI,也可以让智能手机更加了解用户的习惯和所处位置。利用情境信息,数字助手将会更加个性化,带来更令人满意的答案,提供更主动的服务。


更进一步,随着 AI 生成能力逐步进入多模态领域,下一代 AI 渲染工具将能利用文本、语音、图像或视频等各种类型的提示生成 3D 物体和场景,最终创造出全新的沉浸式内容体验。


一句话,AI 手机将会为我们带来一场革命。



随着 OPPO 等手机厂商对 AI 技术的不断推动,我们与想象之间的距离已经近了。


文章来自于 微信公众号“机器之心”,作者 “机器之心


关键词: sora , AI手机 , 手机AI , Find X7 , oppo
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

2
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/