740 TFLOPS！迄今最强 FlashAttention 来了。
来自主题: AI技术研报
7852 点击 2024-07-12 17:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
740 TFLOPS！迄今最强 FlashAttention 来了。
时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的速度提升。
大模型训练推理神作，又更新了！
马斯克连回两条推文为xAI造势，宣布8月发布Grok 2，年底将推出在10万张H100上训练的Grok 3，芯片加持创新数据训练，打造对标GPT的新一代大语言模型。
10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观，是人类通向AGI的钥匙。AI时代的军备竞赛已经拉开帷幕，赌注是天量的Capex支出，胜者则有机会成为AI时代的造物主。
史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。
在英伟达市值猛涨、各家科技巨头囤芯片的热潮中，我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近，一篇SemiAnalysis的技术文章就深入解读了10万卡H100集群的构建过程。
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波——
大神Karpathy已经不满足于用C语言造Llama了！ 他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。
马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok 3，影响全球的大模型算力荒怎么解？昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama 3-70B！