有没有嫌弃GPT内容生成太慢的？总算有公司在解决这问题了
有没有嫌弃GPT内容生成太慢的？总算有公司在解决这问题了大模型提速，抢走英伟达饭碗
来自主题: AI资讯
10776 点击 2024-02-21 11:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大模型提速，抢走英伟达饭碗
英伟达的产能上不来，很大程度上是因为HBM（高带宽内存）不够用了。每一块H100芯片，都会用到6颗HBM。当下，SK海力士、三星供应了90%的HBM，并且技术领先美光整整一个代际。
卷疯了！世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。
从英伟达的产品路线来看，在未来1-2 年，AI 芯片市场将再次天翻地覆。
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
英伟达发布了一个对话机器人 ——「Chat with RTX」，面向 GeForce RTX 30 系列和 40 系列显卡用户（至少有 8GB VRAM）。有人开玩笑说，Sam Altman 进军芯片领域，黄仁勋进入聊天机器人的领域，这是 Sam vs Jensen 的时代。
生成式AI的诞生，为芯片设计开启了另一条路。现在不论是英伟达等科技公司，还是学术界，都在试图研发出能够完全自主设计芯片的AI系统。
硕士学历黄仁勋，刚刚当选美国工程院院士。以后他还是教主、老黄、“核武狂魔”，但也得尊尊敬敬地被叫一声“黄院士”了。
微软、谷歌、 英伟达等科技巨头加码 AI 的野心人尽皆知，但跑得快并不一定能吃上肉。从几家公司刚刚发布的Q4季度报看，有的已经享受到AI带来的红利，有的仍在为AI铺路，甚至不惜壮士断腕。
印度土豪们一出手就是5亿！直接预订英伟达上千块高价GPU。