首个国产全功能GPU的万卡集群来了！“中国英伟达”出品
首个国产全功能GPU的万卡集群来了！“中国英伟达”出品纯国产GPU的万卡集群，它来了！ 而且还是国内首个全功能GPU，兼容CUDA的那种。
来自主题: AI资讯
8491 点击 2024-07-05 00:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
纯国产GPU的万卡集群，它来了！ 而且还是国内首个全功能GPU，兼容CUDA的那种。
Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」
10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观，是人类通向AGI的钥匙。AI时代的军备竞赛已经拉开帷幕，赌注是天量的Capex支出，胜者则有机会成为AI时代的造物主。
在英伟达市值猛涨、各家科技巨头囤芯片的热潮中，我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近，一篇SemiAnalysis的技术文章就深入解读了10万卡H100集群的构建过程。
最近，许久没有新动向的马斯克放出了大消息——他旗下的人工智能初创公司xAI将投入巨资建造一个超算中心，以保证Grok 2及之后版本的训练。这个「超级计算工厂」预计于2025年秋季建成，规模将达到目前最大GPU集群的四倍。
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。
算力基础设施建设，北京市有了最新的大动作—— 《北京市算力基础设施建设实施方案（2024-2027年）》
Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。
大模型发展至今，还能带给开发者哪些惊喜呢？ 在 4 月 16 日举办的 2024 百度 Create AI 开发者大会上，百度智能云扔下一颗「重磅炸弹」，重新定义了计算机的核心系统软件 —— 操作系统。
【新智元导读】GPT-5还未发布，GPT-6已经在路上了？微软工程师曝出，为GPT-6搭建10万个H100训练集群，整个电网却被搞崩。通往AGI大关，还需要破解电力难题。