2030年,Scaling Law会到达极限吗?GPT-6能出来吗?
2030年,Scaling Law会到达极限吗?GPT-6能出来吗?9 月 2 日,马斯克发文称,其人工智能公司 xAI 的团队上线了一台被称为「Colossus」的训练集群,总共有 100000 个英伟达的 H100 GPU。
来自主题: AI资讯
3834 点击 2024-09-08 10:50
9 月 2 日,马斯克发文称,其人工智能公司 xAI 的团队上线了一台被称为「Colossus」的训练集群,总共有 100000 个英伟达的 H100 GPU。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源,计算得出,在峰值时期Sora需要高达72万张英伟达H100 来支持,对应成本是1561亿人民币。
【新智元导读】GPT-5还未发布,GPT-6已经在路上了?微软工程师曝出,为GPT-6搭建10万个H100训练集群,整个电网却被搞崩。通往AGI大关,还需要破解电力难题。