AI资讯新闻榜单内容搜索-Megakernel

关键词: AI,Megakernel,模型训练,人工智能

斯坦福Hazy实验室推出新一代低延迟推理引擎「Megakernel」，将Llama-1B模型前向传播完整融合进单一GPU内核，实现推理时间低于1毫秒。在B200上每次推理仅需680微秒，比vLLM快3.5倍。