博通（AVGO.O）：软硬双吃，AI算力时代的另类赢家
博通（AVGO.O）：软硬双吃，AI算力时代的另类赢家云大厂背后“卖水人”
来自主题: AI资讯
6961 点击 2024-12-05 11:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
云大厂背后“卖水人”
因为比特币挖矿和AI训练都需要大量的能源和算力。两者的同步发展势必在电力和硬件资源上产生竞争。这意味着AI训练业务可能会受到比特币价格波动的影响，尤其是当矿工们争夺有限的硬件资源时。也就是说比特币价格的上涨，可能会带动AI训练成本的提升。
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
在AI领域数据和算力的军备竞赛中，AI从业者要么紧密跟随OpenAI等领先公司做进一步的应用开发，要么在Transformer机制日益显现局限之时探索新的路径。
Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。
人工智能的发展如火如荼，但大多数人只看到应用的火爆。真正的支撑力量鲜为人知，人工智能的发展越来越离不开庞大算力的支撑。现在，每5座为人工智能而生的数据中心所消耗的电力，就相当于一个纽约市的消耗。本文将介绍关于AI数据中心的一些基础知识。
英伟达市值重回第一之际，黄仁勋再次接受采访。 除了谈自己和英伟达，还吹了一波马斯克，再再再次赞赏xAI只花19天建起10万卡H100超级集群。
中科院北大复旦大佬齐聚的2024科学智能峰会，刚刚在位于北京海淀的北大百年纪念讲堂落下帷幕，现场演讲信息量爆棚。同期，海淀这片创新热土还有好消息传出：海淀区送算力补贴了，最高1000万！
卖铲子相比蜂拥去淘金，永远是更好的选择。在大模型风靡全球、蕴含极大商业价值的今天，「先进铲子」之间的竞赛，正趋向白热化。
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前，基于规则的系统长期以来是语言模型的主导范式。