ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
ChatGPT之父:奥特曼在下“芯片”大棋
2553点击    2024-02-03 19:45

从GPT-5到AI芯片厂,不知道Open AI能否撑起奥特曼的野心。


最近,Open AI计划造芯闹得沸沸扬扬。据消息,OpenAI CEO奥特曼已经接触了英特尔、台积电想要合作成立一家新的芯片工厂。此外,奥特曼1月访韩时,还将目光投向三星、SK,也是为了芯片。


实际上,去年十月份,奥特曼就表态想要自研芯片,到了现在奥特曼似乎还想进一步布局造芯。从自研到自造,奥特曼芯片的“野心”藏不住了。


01

奥特曼的野心

自研芯片


自研芯片这件事,不止Open AI,很多大厂都尝试过。只不过,Open AI的入局更晚一点。去年10月,外媒报道,OpenAI正在探索制造自己的人工智能芯片。


并且,Open AI的网站开始招募硬件相关的人才,官方网站上有数个软硬件协同设计的职位在招聘,同时在去年九月OpenAI还招募了人工智能编译器领域的著名牛人Andrew Tulloch加入,这似乎也在印证OpenAI自研芯片方面的投入。



在一场公开对话中,奥特曼表示OpenAI 不排除自研芯片这一选项。


奥特曼说到:“对于是否采用定制硬件(芯片),我们还在评估中。我们正努力确定如何扩大规模以满足世界的需求。虽然有可能不会研发芯片,但我们正在与做出卓越成果的伙伴保持良好合作。”


自造芯片


Open AI真正的野心不止于自研芯片。


现在,Open AI还想自造芯片。据报道,OpenAI首席执行官山姆·奥特曼(Sam Altman)正在谋划用数十亿美元资金建立一所具备一定规模的半导体晶圆厂。这个项目的核心是建立“工厂网络”,以增加芯片产量。


为了这个项目筹措资金,奥特曼在拉拢包括阿布扎比和沙特阿拉伯在内的中东政府以及硅谷投资者。据《金融时报》报道,奥特曼与中东投资者就芯片投资进行谈判,为开发AI大模型所需的芯片及芯片制造厂提供资金。


谈判方包括中东地区最富有的投资者,阿布扎比最富有、最有影响力的人物之一——谢赫·塔努·本·扎耶德·阿勒纳哈扬(Sheikh Tahnoon bin Zayed al-Nahyan)。他是阿联酋总统谢赫·穆罕默德·本·扎耶德·阿勒纳哈扬(Sheikh Mohammed bin Zayed al-Nahyan)的兄弟,也是阿联酋国家安全顾问,担任阿布扎比投资局(ADIA)、阿布扎比第三大主权财富基金ADQ(阿布扎比发展控股有限公司)的主席,是阿布扎比人工智能公司G42的董事长,而该公司也和微软、OpenAI建立了合作关系。


奥特曼也在拉拢顶级芯片制造商,包括台积电、英特尔。此外,在最近1月的访韩中,奥特曼与韩国芯片巨头三星、SK探讨合作。他们会议上讨论的主要话题之一是高带宽内存(HBM)芯片,这是用于处理大量数据的最现代的内存芯片,对AI处理器至关重要。


事实上,Sam Altman早在去年6月访韩时就注意到了这两家芯片巨头,并表示愿意投资韩国的AI初创企业。Econotimes引用一位不愿意透露姓名的官员消息称,若合作达成,SK和三星可能会负责开发和生产存储芯片。


除了自己建厂外,奥特曼还早早投资了三家芯片初创企业,分别是Cerebras、Rain Neuromorphics和Atomic Semi。


Cerebras曾经推出过超大芯片,Cerebras 的第二代AI芯片WSE-2晶体管数量达到2.6万亿个,AI内核数量也达到了85万个,多项指标打破世界纪录。这家公司去年一口气开源了7个GPT模型,参数量分别达到1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿。



来源: Cerebras官网


另一家是Rain Neuromorphics,这家公司设计的芯片模拟大脑工作方式,属于神经拟态芯片初创公司。Rain AI的首款芯片基于RISC-V开源指令集架构,面向包括手机、无人机/机器人等设备,其亮点是既能训练算法,又能在部署时运行。尽管第一批硬件尚未向客户交付,但OpenAI早已向Rain AI下了5100万美元的预定订单。


此外,还有由芯片大神吉姆·凯勒和“车库造芯”红人山姆·泽洛夫共同创立的Atomic Semi。他们二人共同创立的Atomic Semi,旨在让芯片生产加工更加简化,以期在数小时内生产出更廉价的芯片。


02

奥特曼的忧“芯”


现阶段,奥特曼或许是这个世界上最渴望 GPU 的人。


GPU对于奥特曼一直是一个沉重的负担。早在 2022 年,他就公开表达了对英伟达 GPU 芯片短缺的不满,声称这给公司带来了巨大的压力。


他在多次采访中抱怨,“OpenAI 目前正受到 GPU 算力的严重制约,导致许多短期计划无法按时完成。”‍


在11月中,Open AI突然宣布,ChatGPT Plus账号暂停注册,原因无他:访问量激增超出了服务器的承受能力。



Altman在X上发文对此解释道:由于OpenAI开发日后ChatGPT使用量的激增超出了我们的承受能力,我们希望确保每个人都有良好的体验。您仍然可以在app内注册ChatGPT,以便在ChatGPT Plus 重新开放时收到通知。


当时的情况下普通的ChatGPT账号还是可以注册的,但要购买Plus服务时,就会被提示——已注册等待名单,且附上了理由:由于需求量太大,我们暂时暂停了升级服务。


OpenAI公布过一组数据,大模型训练所需算力的增速保持在3~4个月/倍速度增长,远超摩尔定律18~24个月/倍。强大的算力,意味着更快的数据处理速度、更强大的大模型服务能力。


在伦敦听证会上,奥特曼称“ 大部分问题都是 GPU 短缺造成的 ”


首先 OpenAI 很多客户都在抱怨 API 的可靠性和速度,在没有足够的 GPU 的情况下,这是没有办法被解决的。


第二,由于算力的紧缺,ChatGPT 更长的 32k 上下文能力( 大约是 24000 个词的上下文能力 )也暂时无法推送给更广的客户。


第三,由于算力的紧缺,ChatGPT 的模型微调 API 也做不到很好地支持,不能使用 LoRa 等高效的微调方法。


第四,由于算力的紧缺,OpenAI 没办法卖给客户更多的专有定制化模型,现在的解决办法是要求客户预先支付高达 10 万美元的定金。


基于以上种种问题,奥特曼和 OpenAI 虽然是大模型浪潮的缔造者,但他们却不得不仰仗于英伟达的产能,英伟达在 AI 领域占有近 80% 的市场份额,英伟达的产能一天上不来,OpenAI 就没办法尽快发展。


而Open AI面临的难题不仅仅是GPU的短缺困境,还包括其高昂的价格。


无论是购买英伟达的GPU,还是使用基于GPU的云服务器,都太贵了。去年,OpenAI去年录得收入2800万美元,而总体亏损为5.4亿美元;而OpenAI巨大的亏损背后,主要原因就是由于算力开销。


根据美国金融公司 Bernstein 的分析,如果 ChatGPT 的访问量达到谷歌搜索十分之一的水平(而这也是 OpenAI 未来的重要目标之一),OpenAI 初始需要的 GPU 价值高达 481 亿美元,每年维持运行的芯片成本需要 160 亿美元。


这样的开销,可能是未来 OpenAI 进一步规模化的一个主要瓶颈。毕竟即使强如微软,也无法长期支撑如此巨额的投入。


对于OpenAI而言,自己造芯片意味着安全和长期更可控的成本。


03

存在变数


先来看自研芯片的变数。其实目前自研芯片的大厂不在少数,比如Facebook的母公司,Meta 目前正开发一款新型芯片,希望能涵盖所有 AI 类型;OpenAI 的主要支持者微软也在开发定制 AI 芯片,并交由 OpenAI 进行测试。


不过,亲自下场做芯片设计研发,有三大问题。


第一,对人才密度要求非常高。


第二,投入不小。百人高端芯片团队以及动辄几千万的单次流片成本,无不是重投入,而且还不能指望一次流片成功。据Semiengingeering数据显示,开发28nm节点芯片的投入约为5130万美元,7nm节点芯片更是达到了2.97亿美元。


第三,找一个合适的代工厂。7nm以下的代工厂,只能找台积电和三星这两家,但是如何让台积电和三星积极配合项目进度,也考验Open AI与上游Fab厂打交道的能力


那如果加上自己建工厂,变数会更大。


首先,还是钱的问题。我们提到,就算自研芯片的流片成本都很高,那么直接盖一个晶圆厂的成本只会高上加高。


晶圆厂建造耗资巨大。半导体公司英特尔曾表示,一个晶圆厂需要6000名工人花3年时间建造,耗资100亿美元。与此同时,生产先进计算芯片也是既昂贵又复杂,这些芯片必须在“洁净室”中组装,以防止微小颗粒甚至静电损坏芯片。如果是AI芯片需要的3nm、2nm级节点的晶圆厂如今的投资成本也将高达 300 亿美元。


但是作为初创公司,Open AI还是缺钱的。


去年4月,OpenAI完成最新一轮融资,估值270亿到290亿美元。微软目前为OpenAI的最大股东,持有49%的股份。其他财务投资机构包括老虎环球基金、Sequoia、位于加州的Andreessen Horowitz、位于纽约的Thrive和K2 Global、Founders Fund等。


当时,奥特曼在回应估值时强调,目前OpenAI需要筹集大量资金,以寻找研发人才,以及快速推动创新研究。


“我们需要大量的资金来完成OpenAI 使命。在我们有限的时间里,一定有比我们未来融资计划更有趣的事情可以讨论。当然,我们需要更多的钱,AI 未来的路径尚不明确,但创新昂贵。在产品方面,我们正在寻找研发人才和快速推进创新,并且正努力推动 AI 的各种应用并与客户合作。”奥特曼表示。


到了12月,传出消息新一轮的融资正在初步磋商,OpenAI的估值可能因这一融资而达到或超过1000亿美元。


不过不管怎么说,融的多、花的多。Open AI花钱的地方多的是,如果加上自研芯片和盖晶圆厂,那还是不够塞牙缝。


其次,是需求的问题。AI芯片的真正产能需求能有多大?肯定无法Cover一个晶圆厂的运营成本。


来看看目前的晶圆代工厂,台积电、三星、中芯国际,其中的代工业务都包含半导体产业链的各种产品,从40nm到3nm,就算这样在半导体出现周期下行时,营业也有波动。因此,专门建设一个晶圆厂,进行AI芯片的制造,也并不是一件现实的事情。


回过头来,AI时代的大幕拉开,OpenAI其实并没有绝对优势,如今已经是一场各显神通的混战。


从GPT-5到AI芯片厂,不知道Open AI能否撑起奥特曼的野心。


文章来自于微信公众号 “半导体产业纵横”(ID:ICViews),作者 “九林”


关键词: AI芯片 , AI硬件 , chatGPT , GPT-5 , openai
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner