英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC
6772点击    2025-01-17 15:00

AI 功成不必在电脑


今年的 CES,要数黄仁勋带来的一系列产品最振奋人心:RTX 5000 系列,DLSS 4,Project Digits。噢,还包括他又更闪亮了的皮衣。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


有网友说 RTX 5000 就已经这么亮了,那以后是不是得装 LED。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


现在,CES 落幕已经有一段时日了,再回顾展会上大大小小的产品——以 AI 为主的先进数码科技——不禁让人陷入沉思。


AI 和硬件设备结合,真的有那么快到来吗?


现状:Copilot 广发英雄帖


把 AI 移植到端侧是许多厂商都在发力的方向,最为主动的是微软,为自己旗下的 Copilot 招徕了许多合作伙伴。


在今年的 CES 上,宏基推出了 Acer Aspire S AI 一体机,配备了英特尔酷睿 Ultra 处理器(series 2),以及能够完成 67 TOPS 的 Arc Graphics 芯片。除了支持微软的 Copilot Plus 外,还配备了「智能空间」,这是一个能自动检测的中台部件,提供适当的 AI 工具来优化性能、生成图像和增强游戏体验。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

Acer Aspire S AI 系列


同样是支持 Copilot Plus,惠普也计划推出一体机 OmniStudio X,搭载英特尔 Core Ultra 200V 系列处理器,另有搭载 AMD 新款 Ryzen AI Max 芯片的 Z2 Mini Gla。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

惠普 OmniStudio X


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

Z2 Mini Gla


Z2 Mini Gla 体积很小,却足够强大,可以为 Windows 11 中的 AI 功能,比如编辑和生成图像,提供支持。


类似的产品华硕也在做,在 CES 之前就官宣了 NUC 14 Pro AI,搭载英特尔酷睿 Ultra 9 处理器,是首款配备 Copilot Plus 的 AI 迷你电脑,提供五种 CPU 配置:从配备 16GB 集成 RAM 的 Core Ultra 5 226V 处理器到配备 32GB RAM 的 Core Ultra 9 288V 处理器。整合了 CPU,NPU 和 GPU,在图形性能、应用兼容性、安全性和 AI 计算能力上都大有提升。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


这些看上去很酷炫的产品,无一例外地,都没有公布具体的上市时间,暂时也没有看到足够多的样机测评和上手体验。


被寄予厚望的 AI PC 在实际使用中体验如何,仍然是一个需要很长时间才能找到答案的问题。


AI——更确切的说是大语言模型——目前仍然依赖云端部署,把 AI 移植到本地的难度或许不比实现 AGI 简单,为了更好的作用在 PC 上,NPU 应运而生。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


作为专门针对神经网络等机器学习任务优化的处理单元,NPU 能够以更高效的方式执行矩阵和向量运算,适合深度学习推理和训练的需求,尤其是在移动设备和边缘计算中,NPU 能大大提高 AI 处理能力。目前 NPU 的主要任务是用来降低能耗,能够同时运行更大的模型,这让它被认为是未来个人电脑中最不可或缺的构件。


无论是 GPT、Gemini 还是 Llama,都需要大量的算力和储存空间。这导致在个人电脑本地上运行它们,非常困难。哪怕是一些小的功能——智能修图、生成不同模态的内容,都需要大量的算力。


Copliot Plus 的要求是 40 TOPS,也就是每秒 40 万亿次操作(Tera Operations Per Second)。英伟达一直到 RTX 2000 系列才达到这个要求,AMD 直到 RX 7700 XT 及以上版本才得以实现。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

AMD RX 7700 XT


所以,现阶段不是随随便便在广告上加上「智能」两个字,就是真的人工智能,碰到硬吹自家产品是「AI 赋能」的,不如直接绕道走。


未来:端侧 AI 功成不必在电脑


不过,这里的问题是:赋能真的有必要吗?


厂商自然会用力点头:有必要,大有必要。连英伟达都在用力开发 AI PC。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


一打眼看还以为是苹果的 Studio Display,但这其实是英伟达的 Project Digits,一台实践「AI 超级计算机」理念的个人电脑。


Project Digits 配备 Nvidia 的 Grace Blackwell GB10 超级芯片,旨在运行具有多达 2000 亿个参数的大型语言模型,拥有 1 千万亿次浮点运算能力。借助预装的 NVIDIA AI 软件堆栈和 128GB 内存,开发人员可以在本地对多达 200B 个参数的大型 AI 模型进行原型设计、微调和推理,并无缝部署到数据中心或云端。


同样的,Project Digits 没有样机实测,计划于今年五月面世,起价 3000 美元——显然不是一个亲民价格。


无论如何,英伟达透过 Project Digits 所展现出来的态度是很清晰的:个人电脑「应该」结合系统级 AI。Copilot 只是目前最显眼的选项,但未来肯定不是唯一选项。


然而现状是,现在即便是重度 AI 使用者,用 AI 厂商们提供的服务就已经够了,至多买几个高级会员。RTX 5000 系列的确比上一代提升不少,价格也公道,但始终无法和大型服务器集群相提并论。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


拿一块芯片和一个服务器群对比,或许有失公允,但它暗含的是一个底层问题:你真的需要一台 AI PC 吗?


英伟达的 Project Digits 有明确的受众对象,开发者、研究人员、高校学生,在这群人手上 Project Digits 更能施展得开。


但对于大多数普通消费者来说,能丝滑打 3A 游戏足够了,能把这个任务好好完成,做什么都会成功的。


如果你已经有 RTX 显卡,那你都不需要一台强调自己配备 NPU 的 AI PC,因为 RTX 3080 的表现也比英特尔的 Core Ultra 要强得多。但如果答案是否定的,与其把电脑升级到 AI PC,还不如开一个 GPT 高级会员,可能性价比会更高。


更何况,RTX 5000 一经推出,原本的 4000 系列突然就不香了。数码硬件就是在面临一个很残酷的竞争节奏:下一代永远比上一代强,还更便宜,上一代的去向就只能是闲鱼。


假设今天我们有一台搭载 RTX 40 系列的消费级 PC——别管它什么样子,反正梦里什么都有——RTX 5000 一出,这台机器原地就要打骨折。那么可预见的是,当 RTX 6000 出现的时候,淘汰队列里又会多添一部设备。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC


这当中因为更新设备而产生的差价,搞不好都够我充 10 年的 GPT 会员了。


软件的迭代属于匀速前进,尤其是基于大语言模型的应用产品,即便新推出的功能一般,又或者是提升有限,好歹不会再额外收钱——会员费就包圆了。


当然,前提是 AI 软件的服务,和系统层 AI 差不了多远。目前还没有系统层 AI 出现,还有待 Copliot Plus 和各个厂商之间的合作再进一步,来试试水温。


眼下,AI 能发挥的场景相当有限,甚至可以说,手机系统级的 AI 或许会更早一步到来:我用手机修图,用手机点外卖,用手机在小红书上跟外国网友唠嗑,而不是电脑。


如果未来的 AGI,非要我打开电脑才能帮我处理大小事情的话,要不然,还是我自己用手机修图吧。


文章来自于“APPSO”,作者“APPSO”。


英伟达的迷你超级计算机很炸裂,但你可能还不需要一台能跑 AI 的 PC

关键词: AI , AI PC , AI电脑 , 人工智能
AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

2
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner