没错,就是CPU——Central Processing Unit,中央处理器。
自从ChatGPT点燃了生成式AI浪潮,全球进入大模型对各行各业的重写重塑时期,一度喊得最凶、最受期待、也跟所有人体验切身相关的智能手机,进展多少有点差强人意。
不能说毫无进展,只能说概念多一些,表面功夫多一些,真正的智能化体验还不够——至少一个能多说点话的语音助手,也无法带来体验质变。
但就在高通骁龙峰会的现场,这种“卡脖子”的罪魁祸首被找到了——
CPU。
注意,不是GPU、不是NPU,核心还是CPU。
中央处理器不够强,中央处理器不够符合AI手机要求,中央处理器需要来个转折点。
于是,高通做了两件事:
第一,把桌面级CPU,放进手机芯片里。
第二,自己下场自研了CPU。
这也让高通补齐了终端SoC的最后一块拼图,因为更早之前,高通先花大力气自研了GPU,然后又在AI浪潮中推出了自研NPU。
实际上,高通对CPU的虎视眈眈并非毫无征兆,被曝寻求并购英特尔之前,在2023骁龙峰会上,高通就发布了面向PC的芯片平台骁龙X Elite,其中核心就是自研的Oryon CPU,然后宣布加冕性能最强Windows PC。
现在,一年之后,第二代Oryon CPU发布,PC级性能,首次进入安卓手机。
AI手机第一波应用也随之而来,用户过去通过APP来获得手机体验的习惯和时代,面临危机。
第二代3nm工艺,名如其芯。
高通这次在芯片命名上,直接冠以“至尊版”,并且宣称:这是迄今为止高通最强大且全球速度最快的移动端系统级芯片。
也意味着安卓手机,即将在骁龙8至尊版的加持下,迎来全新的性能和体验跨越。
性能提升方面:
CPU单核性能提升45%,多核提升45%,浏览器性能提升62%;
GPU性能提升了40%,光线追踪性能提升35%;
NPU驱动的AI能力上,可以完成70+Tokens每秒、4K上下文的生成能力;
而且性能提升的另一面,则是功耗的降低——
CPU功耗降低了45%,GPU功耗降低了27%,AI每瓦性能降低45%,整体SoC功耗降低了40%。
这种性能和功耗的显著性改变,高通对原因直言不讳:
自研CPU带来的变化。
高通方面称,继年初完成自研CPU在PC的首次亮相后,现在把第二代自研CPU带入到了手机,即把桌面级CPU的性能和手机级的功耗实现了统一。
实际上,作为手机领域的“老法师”,高通在借助第一代自研CPU杀入PC市场时,电池续航和功耗上的整体控制,就在一众老牌PC玩家里显示出独特性。拳打英特尔,脚踢AMD……发布会上跑分对比,数据堪称炸眼。
所以高通自研CPU带来如此性能提升背后,核心架构原因是什么?
发布会现场,从这样几方面做了揭示——
第一,重构了整个架构。
最核心的是超级内核的设计,专为移动端优化,超级内核的主频高达4.32GHz。然后还引入了6个性能内核,每个性能内核都经过调优,负责运行最密集型的应用程序,用乱序性能内核取代了传统的效率内核,实现了效率和能耗的既要又要。
第二,最大缓存的内存架构调整。
通过采用最大的缓存来增强每一个CPU丛集——每个丛集都拥有12MB的二级缓存,总计24MB紧密耦合的专用缓存,这也是移动领域最大的缓存。
另外考虑到生成式AI高度依赖内存,骁龙8至尊版还配备了目前最高速的LPDDR5内存。
而对多任务处理单元——CPU的架构重构后,高通Oyron CPU在同时运行多个应用的工作中,负责启动所有AI工作负载,处理繁重负载任务,让AI引擎的其他组件可以专注于特定的AI任务。
就像交响乐团中的指挥官,或者厨房中的主厨角色。
所以高通骁龙8至尊版的秘诀无他,全靠CPU的改变。
当然,CPU的架构之外,AI专用的NPU也有提升。
高通这次提升了所有加速器内核的吞吐量,实现更快的AI推理性能,还为标量和向量加速器增加了更多内核,满足日益增长的生成式AI运算需求,尤其是面向大语言模型(LLM)和大视觉模型(LVM)的需求。
在上一代芯片中,高通就搭载全球首个端侧Stable Diffusion,实现了端侧文生图的能力,而这一次则把生成的速度提升到了70 tokens/s,提升了100%。
而GPU,性能提升了40%,并且借助CPU带来的复杂负载能力的优化,让帧率和功耗都得到了优化。
GPU的改变,最直接受益的就是手机游戏体验。
总而言之,在过去数年,高通骁龙的每一代旗舰芯片,在GPU和NPU上的革新会更瞩目,而CPU在AI时代开始后,并不是sexy的那一个。但或许是实践带来的反馈,高通瞄准CPU带来的质变,让这次安卓旗舰芯片的变革,完全成了CPU的主角戏。
怎么说呢?就像一支足球队,之前每年主要在锋线和后卫线补强,今年则换了主教练,而且效果立竿见影。
不存在对高通骁龙赞助的曼联足球队有任何建议。
后台芯片变了,台前的手机体验自然也会跟着改变,而且这才是跟所有人息息相关的。
归纳起来,大概有如下几个:
第一,更全能的AI助手。
不是一个增强版的语音助手,而是一个能够感知、理解、执行和交互的多模态生成式人工智能,更具体来说,GPT-4o装进手机,一个手机版的Her。
以前是能听能说,现在则是能看能理解能执行。
比如手机端录音然后速记并整理纪要,可以一气呵成。再比如美国人很在意的账单AA计算和小费结算——摄像头或者拍照一下,AI就能给出结果——但这个用例仅在美国引发了共鸣,这种能力在算数基础强悍的太平洋西岸没有市场,在东三省更是“看不起谁呢”。
更重要的是AI Agent即将成为AI手机的兵家必争之器。什么是AI Agent?简单类比就是手机里的“贾维斯”,能够帮你一句话点外卖、一句话完成各种跨App应用的调度……打破移动互联网至今的App与App之间割裂的现状。
既得利益要被颠覆重构了。
第二,手机游戏体验。
既然桌面级CPU已经装进了手机,那桌面级游戏体验不也得跟随而来?大制作的游戏或许还需要时间,但体验已经在改变。在骁龙8至尊版上,开始允许开发者创建电影级3D环境游戏,实现3A大作的视觉效果,并且追光等明显体验上,也会有直接改变。
网易已经第一时间官宣和高通合作优化《永劫无间》手游,并且首次将18亿参数的大语言模型引入智能手机,打造全新端到端的AI队友功能。
第三,照片和视频体验。
整体观感是对光应对更自如,图像和视频之前更多后期才能做的事情实时就能做。
比如利用NPU识别光线条件并进行修图,即使在不好的光线条件下,也能拍出自然的皮肤和天空色调。
还有实时AI补光,在视频通话或直播时,可以添加一个虚拟的可移动光源,映射脸部轮廓,改善背光情况。
以及视频魔法消除,在视频中选择需要擦除的对象,视频对象消除功能可以将其消除,而无需将视频上传到云端,即更通俗所说的实时P视频。
这也是继去年可以拍照P掉不相关主体后,能力延伸到了视频。
另外,ISP吞吐量提升到每秒43亿像素,支持三个4800万像素图像传感器同时进行30fps视频拍摄。NPU还能直接访问ISP上的原始RAW传感器数据,实现对4K 60fps视频的实时AI辅助增强。
除了上述感知最强烈的体验,这次骁龙8至尊版上机后,在动态物体追踪、游戏功耗等体验上,应该也会给用户带来明显感知。
概括起来一句话:安卓旗舰,相比上一代确实有了换机的诸多卖点。
这种紧迫性,已经直接转换为手机厂商的发布会紧迫性了。
就在高通骁龙8至尊版发布后,荣耀、小米、一加等合作手机厂商,将在一周内紧锣密鼓召开新品发布会,首发骁龙8至尊版。
八仙过海各显神通,也可以对比观照不同的手机厂商,如何结合自身的优势,在同一款芯片底座上,打造出差异化体验了。
有意思的是,就在高通终结了对骁龙旗舰芯片的过去命名方式后,骁龙8至尊版也展现着全新的起点。
一个面向AI的起点。
手机自然是重中之重,但汽车这样的大号终端,也被一以贯之的“至尊版”加持。
在本次骁龙峰会新发布全部结束后,骁龙至尊版系列,已经打通了PC、手机和汽车——而且汽车还是座舱和驾驶一体。
这算是高通面向AI时代作出的一种回应,找到了自己的生态位和AI战略推进方式,全栈的芯片处理器能力、完整的开发堆栈、更具规模的终端品类及市场。
如果在移动互联网时代,高通骁龙占据的是手机这个终端,那AI时代里,高通骁龙的雄心则是所有终端和边缘端,PC、手机、汽车……机器人。
加上高通在通信连接和计算方面的积累,这种在端侧展现的AI优势和潜力,相当明显。
当然,骁龙至尊版系列,最震撼的冲击莫过于自研Oryon CPU。
AI狂飙突进以来,先是GPU重新审视,然后AI专用的NPU异军突起,但计算核心中枢CPU,鲜有人关注,甚至觉得已不在是时代中心。
然而问渠那得清如许,为有源头活水来。真正在源头和一线实践的高通,率先洞藏了AI底层的“瓶颈”所在,率先为交响乐团换了指挥官、为中央厨房换了主厨、为球队换了主教练,然后发现整体效果变革立竿见影。
这种洞藏,也让诸多行业传闻变得有据可循或者逻辑可证。
一是高通对英特尔的并购传闻。要论CPU,没人能比CPU的发明者更有实力了。
二是就在第二代Oryon CPU大张旗鼓发布后,Arm对外剧透要取消对高通的授权……这种传闻可谓一石激起千层浪,因为正是高通成就了Arm,让Arm真正赢在了移动互联网时代。
从另一个角度看,或许高通自研Oryon CPU,动到了Arm的根基,而且影响巨大。
如果高通自研Oryon CPU能带来如此巨大的改变,是不是接下来会引发CPU自研的潮流?
Arm的技术根本、商业模式,面临基础性动摇。
但这些都是产业和巨头之间的影响,对于最广大的用户来说,更直接的变革在于骁龙8至尊版发布现场,被反复探讨的未来。
在此之前,用户通过App来使用手机,通过App来实现各种移动互联网服务的满足。
但AI加持之下,AI Agent如果可以代替用户在App之间完成任务执行,则意味着用户通过AI或AI Agent就能使用手机了,App所承载的服务,还需要在前端展现吗?如果用户不再点击App,或者说App与App之间的隔墙被AI打破,那接下来还会有App之间的区别吗?
高通总裁克里斯蒂诺·阿蒙就给出了他的认知——
不要再问超级App了,不要再问谁会是AI时代的killer App了,可能不止一个两个,可能会成千上万,每一个都是超级App。
但高通总裁这样的逻辑推演,换个角度则细思极恐——那App还重要吗?
从今往前的App是因为人来看来用,从AI往后则是AI来调度来使用,那以终为始推导,当前的App形态,是否面临改变?
文章来自于微信公众号“量子位”,作者“LG”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。
在线使用:https://ffa.chat/
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales