ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
王炸级3nm安卓AI芯片发布:生成视频不用联网,智能体帮你点外卖订酒店
3745点击    2024-10-17 16:44

安卓首款3nm、PC级Arm V9架构、第八代NPU——天玑9400,成为了移动AI芯片的最新最强成果!


相比上一代生成式AI芯片天玑9300,其AI能力更上一层楼,荣登苏黎世ETHZ移动SoC AI性能榜单之首。



天玑9400首次实现了端侧DiT架构支持,无需联网就能在手机上体验Sora同款架构视频生成。



还有业界首发的端侧LoRA训练,可以高效离线训练专属于自己的LoRA生图模型,同时保证隐私不泄露。



大模型方面,天玑9400能够运行的模型窗口文本长度提升到了32K,是天玑9300的8倍。



同时还支持端侧运行多模态大模型,并以50 Tokens每秒的超高速度超越了前SOTA。



综合AI性能方面,天玑9400以6773分的成绩领跑了苏黎世ETHZ移动SoC榜单,是天玑9300的1.4倍。



而从整体上看,天玑9400采用台积电第二代3nm制程,相较上一代单核性能提升35%,多核性能提升28%,同性能功耗降低40%……


此外,联发科这次不仅把端侧AI能力用在了模型运行上,更是集成了天玑AI智能体化引擎(Dimensity Agentic AI Engine)。可以根据你的需求实现跨应用操作,而且会记忆你的各种习惯,让手机越用越聪明、越用越好用。


天玑9400,让AI手机越用越聪明


先来看看联发科通过天玑9400为我们带来的一系列端侧AI新功能。


首先,联发科与小红书合作,首发了端侧SDXL生图功能。


不仅各种风格都能驾驭,关键是整体速度比云端生成还要快两倍。



而且在Diffusion模型端侧化这条路上,联发科还迈出了更大一步,将视频生成模型也带到了端侧。


这项技术同样是业界首发,实现了从静态图像到视频的大跨越



实际体验下来,只用不到一分半,一段视频就生成完成,如果放到云端……恐怕是连队都还没排到。



相比之下,端侧的算力虽不如云,但胜在专属于用户个人,不需要和海量用户争抢。


另一个优势便是,所有数据都在本地储存和处理,隐私安全更有保障。


说到这里,就要隆重介绍下天玑9400首发的端侧LoRA训练功能——只要有照片,就能训练出专属于自己的本地LoRA模型。



利用训练出的模型,可以生成任意姿态、任意背景的个人写真,足不出户拍遍全世界。



还有联合虹软推出的端侧AI智能修图功能,通过在端侧学习到的用户人脸信息,可以对模糊的照片智能修复。



相比于传统的智能超分等处理方式,不仅更清晰,而且能够保留面部细节,处理出的照片更加自然。



除了一系列重磅功能的首发,天玑9400也打破了多项业界纪录,比如它的端侧多模态模型运算速度达到了50Tokens每秒。


利用面壁智能推出的小钢炮模型,可以快速识别二元一次方程组图像并做出解答。


同时还能理解图片中文字的对应关系,秒速读懂外文菜单,推荐菜品并直接算好价格。



当然整体AI性能也经得起检验,在权威的苏黎世ETHZ AI Benchmark 6.0榜单中以6773分的总成绩排名第一


该榜单涵盖了不同类型的34款模型,同时包括int8、int16、fp16等多种,涉及速度和准确性等多种指标,是对AI能力的全面评估。


兼容适配上,联发科也已经与国内外的9家大模型厂商达成合作,支持了一系列的主流大模型。



在强大的端侧AI算力支持下,联发科提出了“智能体AI手机”的新概念,让移动终端变得更智慧。


天玑9400中内置的AI智能体化引擎(Dimensity Agentic AI Engine ),能够将AI模型和应用变成一个个智能体,让手机变成一个强大的“后援军团”。



以点外卖这个场景为例,普通的AI助手最多不过是能够帮助我们打开外卖软件,但智能体化之后,可以全程通过语音交流,完成从选择餐点到完成支付的整个过程。


请看VCR:



基于通义千问大模型驱动的智能体,现已经支持了多款智能体化应用。



而且随着使用过程的深入,智能体会记住你的习惯偏好,变得越来越聪明、越来越懂你、越来越好用。


比如根据你的喜好推荐电影,然后根据之前的购票习惯,不用多做解释就能帮你选好习惯的位置。



当然要实现这样的效果,除了联发科自身提供的算力,也离不开生态的支持,从芯片到终端,从模型到应用都必须全面发力。


为此,联发科联合vivo、OPPO等多家厂商共同发起了AI智能体化引擎先锋计划,一同让智能体应用生态变得更完整丰富。


另一方面,联发科也在积极与开发者合作,为AI智能体、第三方应用程序和大模型之间提供统一的标准接口,实现AI跨应用串联。


这不仅能够缩短AI产品的开发周期,更有利于加速构建应用更丰富、体验更出色的AI生态。



伴随着算力专属、隐私保障、无网络运行等需求,发展端侧AI已逐渐成为新的共识。


其中,AI手机是端侧AI的终极载体,无论是设备保有量还是使用时长,均多于PC产品。


从手机AI科技树的角度,联发科是当之无愧的强者,今天的天玑9400将加速手机的智能体化,借助先进的AI技术和生态,丰富和提升人们的生活。



在这背后,必然离不开强大技术的支撑。


软硬件技术协同发力


在技术上,联发科在软硬件两方面同时进行研发,让软硬件共同配合,实现了端侧AI的新跨越。


例如,庞大的内存占用是AI模型端侧化的一个重要瓶颈,为此,联发科采取了低位宽KV缓存技术,同时结合分组查询注意力(GQA)极致 ,降低了50%的内存需求。


此外,天玑9400不仅搭载了联发科第八代AI处理器——NPU 890,还将模型的运算工作全部放入NPU中,用更适合AI运算特点的NPU来加速运算,具体来说有一系列举措:


  • 将专家路由等模块全部转移至NPU,实现了端侧混合专家(MoE)模型的纯NPU运算;
  • 对于DiT(类Sora)模型,针对4D、5D的张量,利用NPU硬件独特的时域神经元硬件指令进行加速;
  • 对于端侧LoRA训练,采用了新的反向传播算子指令集,将过去C/GPU上的指令,融入到了NPU能够支持的加速指令中……



联发科技,作前沿科技的推动者


所以归结起来,联发科技的新技术和新产品,究竟在带来什么呢?


这个问题可以从多个层面来回答。


首先对于终端用户,是更低门槛的AI普惠


越来越多的AI能力被带进端侧,意味着手机用户不用在浩如烟海的云服务中挑的眼花缭乱,直接在本地就能体验到丰富多彩的AI应用。


另一方面,联发科天玑9400主导的智能体化应用方式铺展开来,AI应用的使用也将进一步下沉。


同时还会带动智能手机的使用门槛进一步降低,让因种种原因不会操纵手机的老年人等群体,在电子信息时代避免“掉队”。


第二,是给方兴未艾的大模型继续灌注强心剂


大模型的前期投入耗资巨大,而开发者想要收回成本,用户规模是一大必然要素。


而联发科技凭借终端保有量的优势,加上模型使用的便捷化,无疑为大模型带来了更多的应用场景。


当然,对于终端厂商以及联发科自身,新的功能也是获得用户关于端侧AI反馈的重要途径。


随着越来越多AI概念的产品化、落地化,用户对AI产品的期望,以及对其不足的认识,都变得更加具体,能够更有针对性地反馈出改进意见。


总之,这一系列举措将有望串联起更完整、更宏大的端侧生成式AI生态,让芯片厂商、终端厂商、应用开发者和用户共同从中汲取收益,通过相互促进实现产业的共同繁荣。


去年,联发科技首款端侧生成式AI芯片天玑9300正式亮相,已让更多的人感受到端侧特别是手机上的AI开始变得触手可及。


半年后,天玑9300的升级版9300+又与人们见面,端侧AI的战场变得更加热闹,模型和应用侧也有越来越多的从业者开始关注终端市场。


天玑开发者大会上,联发科在芯片、模型及应用等层面与开发者、合作伙伴共同探索端侧技术路线,进一步筑起了端侧的生态基建。


如今的天玑9400又成为了新的王者级5G智能体AI芯片,并将端侧智能从基础的大模型嵌入,带到了智能体化这一新的高度,在“智能”与“智慧”之间,画出了一道新的分水岭


PS:首批采用天玑9400芯片的智能手机即将上市,届时可以通过这些设备体验到天玑9400更强大的端侧AI能力。


AI终端,终端AI,AI即将触手可及,无处不在


文章来自于微信公众号“量子位”,作者“ 克雷西”


关键词: AI , AI芯片 , AI硬件 , 天玑9400
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md