
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench在深度学习模型的推理与训练过程中,绝大部分计算都依赖于底层计算内核(Kernel)来执行。计算内核是运行在硬件加速器(如 GPU、NPU、TPU)上的 “小型高性能程序”,它负责完成矩阵乘法、卷积、归一化等深度学习的核心算子运算。
在深度学习模型的推理与训练过程中,绝大部分计算都依赖于底层计算内核(Kernel)来执行。计算内核是运行在硬件加速器(如 GPU、NPU、TPU)上的 “小型高性能程序”,它负责完成矩阵乘法、卷积、归一化等深度学习的核心算子运算。
对于计算任务负载来说,越是专用,效率就越高,谷歌的 TPU 就是其中的一个典型例子。它自 2015 年开始在谷歌数据中心部署后,已经发展到了第 7 代。目前的最新产品不仅使用了最先进的制程工艺打造,也在架构上充分考虑了对于机器学习推理任务的优化。TPU 的出现,促进了 Gemini 等大模型技术的进展。
刚刚,AI界传奇Jeff Dean深度访谈重磅放出!作为谷歌大脑奠基人、TensorFlow与TPU背后的关键推手,他亲述了这场神经网络革命的非凡历程。
据路透社等多家媒体报道,一位知情人士称,OpenAI 最近开始租用谷歌的 AI 芯片来支持 ChatGPT 及其其他产品。 现目前,OpenAI 是英伟达 GPU 的最大买家之一 —— 这些设备在 AI 大模型的训练和推理阶段都必不可少。 看起来,OpenAI 不仅试图远离微软,现在也在开始远离英伟达了。
AI无处不在——从聊天机器人、推荐引擎到语音助手和ChatGPT或谷歌Gemini等工具。但在所有这些智能技术的背后,有一样东西经常被忽视:使这一切成为可能的硬件。
谷歌DeepMind重磅推出AlphaEvolve,最强通用AI智能体横扫数学难题!它不仅推动了300年「接吻数难题」,一举颠覆了56年前Strassen算法神话。而且,还在AI训推、TPU设计、数据中心领域,展现出了极强的实力。
谷歌首款AI推理特化版TPU芯片来了,专为深度思考模型打造。
谷歌重磅发布第七代TPU Ironwood,专为推理设计,性能较从初代飙升3600倍,可与英伟达B200一较高下。不仅如此,谷歌还带来了Veo 2等多款模型全新升级,就连「谷歌版」MCP协议也公布了。
谷歌Canvas免费上线了!现在,所有用户都可以使用Gemini 2.5 Pro的Canvas了,谷歌激情放言:我们的TPU炙手可热,正在火上浇油。
就在刚刚,谷歌Gemma 3来了,1B、4B、12B和27B四种参数,一块GPU/TPU就能跑!而Gemma 3仅以27B就击败了DeepSeek 671B模型,成为仅次于DeepSeek R1最优开源模型。