Groq又双叒给英伟达上压力了！不仅之前展现了每秒1256个token的破纪录输出速度，最新获得的一轮6.4亿美元融资更提供了在AI芯片领域挑战英伟达的底气。
来自主题: AI资讯
7852 点击 2024-08-06 14:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Groq又双叒给英伟达上压力了！不仅之前展现了每秒1256个token的破纪录输出速度，最新获得的一轮6.4亿美元融资更提供了在AI芯片领域挑战英伟达的底气。
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。
今年GTC大会上，英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管，AI算力直接暴涨30倍。单芯片训练性能（FP8）是Hopper架构的2.5 倍，推理性能（FP4）是Hopper架构的5倍。具有第5代NVLink互连，并且可扩展至576个GPU。
在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？
2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。
Groq一夜爆火的背后，是自研的语言处理单元硬件LPU，近日，Substack的专栏作家Abhinav Upadhyay为我们一步步揭示了LPU底层架构的奥秘
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。
前几天，英伟达成为首家市值达到2万亿美金的芯片公司，创造了历史。同一时间，一家名为Groq的初创公司横空出世，扬言“三年之内赶超英伟达”。