ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
GPT-5被5万张H100卡脖子!Altman急筹数十亿美元,欲取代英伟达建起AI芯片帝国
2564点击    2024-01-22 15:19


最近,外媒曝出Sam Altman正计划筹集数十亿美元,为OpenAI建起全球性的半导体晶圆厂网络。GPT-5训练严重缺芯,OpenAI誓不让英伟达掌握主动权,干脆自己做新的AI芯片霸主?


Sam Altman正在筹集数十亿美元,建立一个全球性的半导体晶圆厂网络!


这一事件背后的原因很可能就是,OpenAI已经无「芯」训练「GPT-5」了。


此前,据英国《金融时报》报道,OpenAI 正在开发一种新的AI模型,该模型将是 GPT-4 的「重大升级」,预计将于今年晚些时候发布。


训练GPT-4,用了大约25000块A100 GPU 。而训练GPT-5,还需要5万张H100。如今,英伟达的H100售价为2.5万至3万美元。


英伟达的AI芯片,基本垄断了市场,这一命脉怎能掌握在他人手中?



果然,最近外媒接连曝出,Sam Altman正在和中东投资者以及台积电谈判,展开合作关系,以训练和运行AI模型的芯片。


算力货币决定着OpenAI的前途,绝不能把握在英伟达手里!Altman这次,是下定决心了。


训GPT-5,OpenAI对芯片的需求只会越来越大


Altman的野心是,随着AI技术的广泛应用,在未来几年建成一个自给自足的半导体供应链帝国。


所以,OpenAI也有意跟英特尔、台积电和三星等行业巨头竞争了?



Altman在达沃斯经济论坛上表示,今后世界的两大货币,就是算力和能源


比起亚马逊、谷歌、微软等大厂,Sam Altman显然有更宏大的计划:建立一个AI芯片工厂网络。


Altman应该是很确信,现在的台积电、三星、英特尔之类的代工厂,未来几年内肯定无法满足对AI芯片的需求。


现在,Altman正在筹集数十亿美元,目标就是建立一个遍布全球的AI芯片工厂网络。


现在,他正在和多家潜在的大型投资者进行谈判,包括总部设在阿布扎比的G42和软银集团。


显然,在AGI时代,芯片会供不应求。Altman现在十分担心,随着AI技术的日益普及,现有的芯片供应将无法满足大规模部署的需求。



目前生产的AI芯片,远远落后于预期的需求。只有立刻行动,才能确保十年内能有充足的芯片供应。


然而,建立一个全球性的芯片工厂网络需要庞大的投资,并且耗时多年。


而且,与行业中其他公司不同的是,建设和维护半导体工厂的成本要高得多。一个先进工厂的建设成本,可能高达数百亿美元。


亚马逊、谷歌、微软都倾向于设计自家的定制芯片,将制造外包,这也是因为建造和维护半导体的晶圆厂的成本,实在太高了!


毕竟,建造一家最先进的晶圆厂可能需要数百亿美元的投资,而建立这样的设施网络可能需要数年时间。


根据彭博社的报道,仅在OpenAI与G42的谈判中,涉及金额就接近80亿到100亿美元。


OpenAI新金主:中东土豪


OpenAI的前任金主是微软。而现在为了筹资,Altman联系上了中东土豪们,比如阿联酋的一些投资者。



其中一位,就是阿布扎比最富有、最有影响力的人物之一——谢赫·塔赫努恩。



谢赫·塔赫努恩是阿联酋最有权势的人之一,是总统谢赫·穆罕默德的兄弟,还是阿联酋的国家安全顾问。


他还负责监督迅速扩张的商业帝国,并担任阿布扎比若干最强国家投资基金的主席。其中包括8000亿美元的阿布扎比投资局和另一家国有投资实体ADQ。



另外,他还担任国际控股公司和G42的主席。前者是一家庞大的企业集团,已迅速成为阿联酋最大的上市公司;而G42是一家雄心勃勃的AI公司,已经和微软、OpenAI建立起了合作伙伴关系。


目前还不清楚Altman具体的筹款金额,但要与市值接近1.5万亿美元的英伟达竞争,保守来说至少会花费数十亿美元。



G42集团CEO Peng Xiao和Sam Altman签订协议


别的不说,Sam Altman的社交手腕,是真的达到了人类天花板级别。


建厂要花费的,是天文数字


咱们来盘一盘,要建起一座晶圆厂,Sam Altman究竟需要花多少钱。


开发2nm或3nm工艺技术的成本,高达数十亿美元,并且随着工艺节点的缩小,这一成本还在上升。



同时,一个能够大规模生产3nm或2nm芯片的现代晶圆厂,如今成本可达300亿美元。


并且,晶圆厂的成本还在迅速上升,比如一台低数值孔径(Low-NA)极紫外(EUV)光刻设备的价格,约为2亿美元,而高数值孔径(High-NA)的光刻机,预计售价在3亿至4亿美元之间。



一个领先的晶圆厂要想生产最先进的AI和高性能计算(HPC)芯片,这种设备怎么也得备上若干台。



AI浪潮中,英伟达坐收渔翁之利


现在,谷歌、亚马逊、Meta、OpenAI和微软,都在使用英伟达的GPU来训练AI、向客户部署模型。仅Meta一家,就计划在年底前为服务器安装340,000块H100。


可以说,英伟达垄断了目前的AI算力市场,并且手持定价权,这就导致其收入飞速增长。


像Graphcore这样的芯片初创公司,已经很难与英伟达的主导地位竞争了,这是由软件和硬件之间的相互作用造成的。仅仅制造一个更快的芯片,已经远远不够的,何况这本身就相当困难。


显然,各大科技公司都很早就开始布局了。


亚马逊、谷歌和微软这样的大科技公司是这么做的——设计自己的定制半导体产品,将生产过程外包给其他公司。


现在,各家都到了收获的季节。去年11月底,微软就推出了首款AI芯片,同时,微软也在和AMD加紧合作;23年春季之前,Meta也推出了自家芯片;谷歌和亚马逊,则分别研发TPU和Trainium芯片多年。



微软的最新Azure Maia 100芯片

OpenAI曾怒甩5100万刀狂买AI芯片


去年12月,Altman就被曝出正在进行「芯片交易」,而这也疑似成为OpenAI宫斗的导火索。


当时有外媒曝出,OpenAI在2019与AI芯片初创公司Rain AI签订了一份价值5100万美元的意向书,会在Rain AI的芯片上市后购买芯片。


Rain AI正在研发一种「类脑」NPU芯片,能大幅降低AI算力的成本,预计将在12月流片,并于2024年10月开始供货。



而且值得注意的是,Sam Altman作为Rain AI的股东,本人也亲自斥资,投入了100万美元。


根据一位不愿意公开身份的人士透露,Sam Altman之前被OpenAI前董事会解雇,部分原因就是他的其他投资与OpenAI纠葛的关系。



据悉,Altman曾为了这个代号为Tigris的项目在中东筹集资金


RainAI开发的神经形态处理单元(NPU),能模仿人类大脑的功能,有希望提供比当今的GPU更高的处理能力和能源效率。



这个NPU「类脑」芯片,号称比GPU高出100倍的计算能力,而在训练方面的能效,甚至比GPU高出10000倍。


Rain的目标是提供一种芯片,既能用于模型和算法的训练,又能用于之后的推理运行。


根据Rain的说法,这种芯片将允许AI模型根据周围环境实时定制或微调。


——从这个角度来看,它并不是当下英伟达H100之类GPU的直接竞品。


相关人士表示,这些功能对OpenAI来说是一个强大的吸引力,OpenAI希望利用这些芯片来降低数据中心的成本,并将自己的模型部署在手机和手表等设备中。


如果能够开发成功,OpenAI自然不会再受制于英伟达。



其实,Altman的布局很早。


早在2018年,他就领导了Rain的种子轮融资,一年后,OpenAI通过了这份价值5100万美元的芯片购买意向书。


当然,Altman的计划也不是一帆风顺的。


此前Rain的领导层曾改组,公司的投资者也发生了变化。一个负责监管国家安全风险投资的跨部门政府机构,要求沙特阿拉伯附属基金Prosperity7 Ventures出售其Rain的股份,之后,硅谷的Grep VC收购了这些股份。


——这一切变动,可能会增加Rain将新型芯片技术推向市场的难度,也使OpenAI的5100万美元订单的兑现日期,变得不太清晰。


总的来说,与Rain的这项交易也显示,OpenAI愿意花费大量资金,来确保自己的AI项目所需的芯片供应。


现在,从Rain AI购买的价值5100万美元的AI芯片,只是OpenAI在AI芯片上巨额投入的一小部分而已。


OpenAI的野心,正在悄悄部署


年前,OpenAI就任命了前谷歌TPU的负责人为硬件主管,并且正在招聘「数据中心设施设计专家」。



消息称,由芯片工程师Richard Ho领导生成式AI创业公司的新部门,帮助优化合作伙伴的数据中心网络、机架和架构。



「他在TPU的创建中也发挥了重要作用。也曾在DE Shaw工作并设计过ASIC。到目前为止,他更多地负责软件硬件集成、DC设计和加速器芯片选择。但OpenAI最近也聘请了不少编译器和内核方面的专家。」


另外,Altman还曾与包括芯片设计公司Arm在内的半导体高管进行过讨论,商讨如何尽早设计出新的芯片,为OpenAI降低成本。


OpenAI的GPU短缺有多严重?Altman:都先别用ChatGPT了


去年一整年,Sam Altman都在抱怨OpenAI已经陷入了严重的GPU短缺。


生成式AI爆发仍旧没有放缓,对算力提出了更高的要求。很多公司都在用英伟达性能极高的H100来训练模型,但H100非常昂贵。


马斯克就表示,GPU如今比drug还紧俏。



Sam Altman表示,OpenAI已经严重受到GPU限制,不得不推迟了众多短期计划(微调、专用容量、32k上下文窗口、多模态)。


甚至,因为GPU的短缺,Altman都不希望有很多人使用ChatGPT。


我们的GPU非常短缺,使用我们产品的人越少越好。

如果人们用的越少,我们会很开心,因为我们没有足够的GPU。


OpenAI许多用户都在抱怨API的可靠性和速度,对此Sam Altman解释道,原因也是在于GPU太缺了。


训练GPT-5,需要5万块H100,但此前曾有报道称,英伟达最好的芯片H100,将在2024年之前就会售罄。


如果市场上GPU跟不上,将会阻碍OpenAI提升和训练新模型的能力。


如今到处奔走的Altman,能为建立晶圆厂筹到数十亿甚至数千亿美元的资金吗?能维持厂子的运营吗?


目前我们只知道,他的举动有可能改变整个代工市场的格局。


参考资料:


https://www.tomshardware.com/tech-industry/artificial-intelligence/openais-sam-altman-raises-billions-to-build-chip-empire-report


https://the-decoder.com/gpt-4-successor-reportedly-a-major-upgrade-openais-altman-in-talks-with-tsmc-for-ai-chips/


https://www.ft.com/content/1cdaadc3-b384-4f50-88ff-291c062c8376


文章来自于微信公众号 “新智元”,作者 “编辑部


关键词: GPT-5 , H100 , AI芯片
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner