英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

6010点击 2024-12-19 10:31

“英伟达版树莓派”这波良心了，性能涨70%，降价50%。

老黄召开厨房发布会，从烤箱里端出这台“掌心AI超算”。

△怎么不穿皮衣了

新版Jetson Orin Nano开发版套件，算力从40 TOPS涨到67 TOPS（INT8），内存带宽增加50%，达到102GB/s，功耗仅25瓦。

价格却降了50%，从$499降到$249（约人民币1800元）。

67 TOPS什么概念？

比目前英特尔、AMD或高通AI PC中的大部分NPU都快
能跑主流的7B、8B大模型量化版，如阿里Qwen，Llama等
最高支持4个摄像头，也能跑8B的视觉语言模型和ViT模型

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

英伟达称这是“最实惠的生成式AI超级计算机”。

无论是用来创建基于RAG的聊天机器人、视觉AI Agent，还是部署基于AI的机器人，都是理想的解决方案。

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

开发套件包括一个Jetson Orin Nano 8GB系统级模块（SoM）和一个参考载板，可用于边缘AI应用的原型设计，功耗最高25w。

采用6核Arm CPU和NVIDIA Ampere架构GPU，GPU配备1024个CUDA核心和32个张量核心，支持多个并发AI应用管道和高性能推理。它最多可以支持4个摄像头，提供比以前版本更高的分辨率和帧率。

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

The Register估计在运行4位量化版Llama 3.1 8B模型时，能达到约18-20 tokens/s的速度。

Jetson支持一系列英伟达AI软件，包括用于机器人的NVIDIA ISAAC、用于视觉AI的NVIDIA Metropolis 和用于传感器处理的NVIDIA Holoscan。

另外可以使用NVIDIA Omniverse Replicator生成合成数据，并使用NVIDIA TAO工具包微调预训练模型，可以缩短开发时间。

老黄称这个系列为一种全新的处理器——机器人处理器。

推出第一代产品时，没人理解英伟达在做什么

到现在，它已经支持了各种机器人，带轮子的、两条腿的、三条腿的。

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

额外的好消息是，新推出的软件更新，也将为买过旧版开发套件的用户带来生成式AI性能提升。

有网友表示，黄仁勋就是新的圣诞老人。

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

参考链接：

[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/

[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/

文章来自微信公众号“量子位”，作者“梦晨”

英伟达新品“掌心AI超算”，¥1800跑8B多模态模型，算力暴增70%价格腰斩

关键词: AI , 英伟达 , AI超算 , AI基础设施 , Jetson Orin Nano

AITNT资源拓展

根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考

智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。
项目地址：https://github.com/Significant-Gravitas/AutoGPT

﻿【开源免费】MetaGPT是一个“软件开发公司”的智能体项目，只需要输入一句话的老板需求，MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色，包括产品经理 / 架构师 / 项目经理 / 工程师，MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

RAG

【开源免费】graphrag是微软推出的RAG项目，与传统的通过 RAG 方法使用向量相似性作为搜索技术不同，GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址：https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG，Agent，模型管理等一站式AI开发的工具平台，并且项目方一直持续维护。其中在任务编排方面相对领先对手，可以帮助研发实现像字节扣子那样的功能。
项目地址：https://github.com/langgenius/dify

【开源免费】RAGFlow是和Dify类似的开源项目，该项目在大文件解析方面做的更出色，拓展编排方面相对弱一些。
项目地址：https://github.com/infiniflow/ragflow/tree/main

【开源免费】phidata是一个可以实现将数据转化成向量存储，并通过AI实现RAG功能的项目
项目地址：https://github.com/phidatahq/phidata

【开源免费】TaskingAI 是一个提供RAG，Agent，大模型管理等AI项目开发的工具平台，比LangChain更强大的中间件AI平台工具。
项目地址：https://github.com/TaskingAI/TaskingAI

微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台，可以对大语言模型（LLM）和多模态图文模型（VLM）进行预训练和轻量级微调。XTuner 支持多种微调算法，如 QLoRA、LoRA 和全量参数微调。
项目地址：https://github.com/InternLM/xtuner