AI资讯新闻榜单内容搜索-FP8

关键词: AI,算力,数据租赁,GPU

DeepSeek开源第二弹如期而至。这一次，他们把MoE模型内核库开源了，支持FP8专为Hopper GPU设计，低延迟超高速训练推理。

关键词: AI,DeepSeek,DeepEP,模型通信库

DeepSeek开源第二弹如期而至。这一次，他们把MoE训推EP通信库DeepEP开源了，支持FP8专为Hopper GPU设计，低延迟超高速训练推理。

关键词: AI,大模型,模型训练,Colossal-AI,ColossalAI

FP8通过其独特的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练成本。

关键词: Llama 70B,H100,AI硬件,Llama模型

FP8和更低的浮点数量化精度，不再是H100的“专利”了！

关键词: 黄仁勋,英伟达,奥特曼,AI芯片,Groq,openai,AI

今年GTC大会上，英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管，AI算力直接暴涨30倍。单芯片训练性能（FP8）是Hopper架构的2.5 倍，推理性能（FP4）是Hopper架构的5倍。具有第5代NVLink互连，并且可扩展至576个GPU。