英伟达市值重回第一之际，黄仁勋再次接受采访。 除了谈自己和英伟达，还吹了一波马斯克，再再再次赞赏xAI只花19天建起10万卡H100超级集群。
来自主题: AI资讯
3171 点击 2024-11-08 19:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
英伟达市值重回第一之际，黄仁勋再次接受采访。 除了谈自己和英伟达，还吹了一波马斯克，再再再次赞赏xAI只花19天建起10万卡H100超级集群。
一文揭秘全球最大AI超算，解析液冷机架和网络系统的创新设计。这台全球最大AI超算Colossus由xAI和英伟达联手建造，耗资数十亿，10万块H100仅半个多月搭建完成，未来规模还将扩大一倍！
通过深入分析这些 GPU 的性能指标，我们将探讨它们在模型训练和推理任务中的适用场景，以帮助用户在选择适合的 GPU 时做出明智的决策。同时，我们还会给出一些实际有哪些知名的公司或项目在使用这几款 GPU。
红杉资本的报告曾指出，AI产业的年产值超过6000亿美元，才够支付数据中心、加速GPU卡等AI基础设施费用。而现在一种普遍说法认为，基础模型训练的资本支出是“历史上贬值最快的资产”，但关于GPU基础设施支出的判定仍未出炉，GPU土豪战争仍在进行。
H100租赁价格下跌，真的能和“GPU泡沫破灭”画上等号吗？ 一则有关“2美元/小时出租H100：GPU泡沫破灭前夜”的报道引发国内市场高度关注。
两天前，马斯克得意自曝：团队仅用122天，就建成了10万张H100的Colossus集群，未来还会扩展到15万张H100和5万张H200。此消息一出，奥特曼都被吓到了：xAI的算力已经超过OpenAI了，还给员工承诺了价值2亿期权，这是要上天？
LLM若以每秒1000+token高速推理，当前最先进的GPU根本无法实现！Cerebras Inference一出世，推理速度赶超英伟达GPU，背靠自研的世界最大芯片加持。而且，还将推理价格打了下来。
多年来，马斯克一直在公开谈论Dojo——这台超算将成为特斯拉人工智能雄心的基石。他最近表示，随着特斯拉准备在10月推出Robotaxi，AI团队将「加倍投入」Dojo。
埃隆·马斯克掌控的那几家公司——包括SpaceX、特斯拉、xAI乃至X（原Twitter）——都需要大量的GPU，而且也都是为自己的特定AI或者高性能计算（HPC）项目服务。
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。