ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
大摩实测数据中心回报率:GPU投入ROI非常高,硬件回收期在一年之内
7035点击    2024-08-30 10:18

大摩认为,GPU供应仍然比较紧张,需求继续超过供应。过去6个月中H100租赁价格有所下降,但价格的绝对水平表明硬件的投资回报率非常高,回本期在一年以内。


AI热潮推升算力需求,GPU租赁到底挣不挣钱?


8月27日,摩根士丹利Joseph Moore及其团队发布报告称,


GPU租赁市场目前仍然供不应求,投资回报率(ROI)极高,虽然H100的租赁价格有所下降,但价格的绝对水平表明回本期在一年以内。对数据中心投资者而言,英伟达仍是最安全的选择。

保守估计下,投资数据中心会产生30%-50%的内部收益率。但是, GPU租赁在主流平台以外还存在更便宜的价格,这会影响到投资者的回报。

随着越来越多的公司通过云计算构建AI应用程序,生成式AI市场的重要组成部分——通信服务供应商(CSPs)和teri-2/3云供应商(teri-2/3 clouds)在市场中的回报率越来越受到关注。


目前,GPU租赁分为spot实例定价(spot instance pricing)和On-Demand实例定价(On-Demand instance pricing)。本次,大摩研究了市场上的GPU spot实例定价,以及一些GPU的供应来源,如第三方市场平台GPUlist.ai等。


01 GPU供不应求,投资回报率极高


根据收集到的数据,大摩认为,GPU供应仍然比较紧张,需求继续超过供应。如下图所示,过去6个月中H100租赁价格有所下降,但价格的绝对水平表明硬件的投资回报率非常高,回本期在一年以内。



由于需求增加,H100现货价格最初处于不切实际的高位,并随着供应的改善逐渐下降。



大摩表示,如果这些spot实例定价是各GPU供应商在当前的清算价格,那么AWS H100现货每小时租赁价格约为4.50美元意味着在保守估算下,投资新建100MW数据中心可能会产生30%-50%的内部收益率。


根据利润边际估算,2025年GPU IaaS可以实现50%以上的毛利率。这一回报相当具有吸引力,但是,投资者还关注回报的可持续性。随着专注GPU云计算的公司(如Coreweave、Lambda Labs等)继续扩大规模,这个领域可能会变得更加重要。


英伟达曾表示,每1美元对他们GPU的投资,会在4年内产生高达5美元的收入。大摩认为,这一估算过于理想化,因为没有考虑到租赁价格的下降以及GPU使用率未达到100%。


大摩假设:GPU租赁价格每年下降20%,H100的初始租赁价格为每小时4美元,6年内利用率达到80%。基于以上三条假设,大摩估算一个耗资32亿美元的新建100MW数据中心投资在6年内可以产生78亿美元的收入,带来38%的无杠杆税前内部收益率。



02‍ GPU投资的高额回报下,问题仍在存在


大摩表示,虽然投资数据中心的内部收益率很高,但是投资者也不能过于乐观,因为在主要云服务提供商之外,GPU租赁还有更便宜的价格。


根据GPU计算市场GPUlist.ai上的数据,H100的每小时租赁价格中位数为2.27美元,比AWS上的价格低了80%以上。其他云服务提供商如Paperspace,在3年承诺期内提供类似的低价。对于需要租赁数百万小时的消费者来说,这是一个非常具有吸引力的折扣。


并且,GPU租赁通常与较少的软件相关联,这使得消费者更容易在云服务之间切换,以追求最优价格。



还有一个问题是,GPU spot实例定价能否够在各方面满足消费者的需求。


在这一定价方式下,GPU的转手率很高,它们似乎不适合用于训练需要长时间稳定计算资源的大规模模型。此外,在列出的较低价格下,大摩表示他们不确定GPUlist.ai能否提供足够的GPU来满足消费者的需求。模型训练往往存在严格的正常运行时间要求,这使得这些GPU很可能只能用于实验或小规模模型的微调。


大摩还注意到,GPUlist.ai上列出的GPU中,使用InfiniBand(一种用于高性能计算的计算机网络通信标准)的比例非常高,这说明英伟达的客户群体不断增长,在盈利方面会表现地更好。


03‍ 英伟达仍是最安全的选择


在大摩的理论数据中心模型下,为了获得相同的回报,云服务提供商需要将Mi300X的价格设定在比H100低25-30%的水平。这表明AMD目前的定价是合理的,可以帮助AMD在市场中站稳脚跟。但是,这一领域对AMD的采纳率将是决定其能否获得长期成功的关键。


但是,与英伟达相比,价格低25%对于一次性使用案例来说并不具有决定性作用,因为这可能需要额外的开发资源来完善AMD不太成熟的生态系统,而在AI市场中时间就是一切。


对于云服务提供商而言,英伟达仍然是租赁市场中安全的选择,因为除英伟达以外的任何选择,机会成本和风险都是巨大的。


文章来源于“36氪的朋友们”


关键词: GPU , AI , AI投资 , 人工智能
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner