“FP8 精度”如何赋能国产AI?
“FP8 精度”如何赋能国产AI?当前AI大模型（LLM）训练与推理对算力的巨大需求，以及传统计算精度（如FP16/BF16）面临的功耗、内存带宽和计算效率瓶颈。
来自主题: AI技术研报
5189 点击 2025-09-02 12:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当前AI大模型（LLM）训练与推理对算力的巨大需求，以及传统计算精度（如FP16/BF16）面临的功耗、内存带宽和计算效率瓶颈。
不使用端侧AI的话，谷歌在Pixel 10上就有虚假宣传的嫌疑了。
Transformer 架构对计算和内存的巨大需求使得大模型效率的提升成为一大难题。为应对这一挑战，研究者们投入了大量精力来设计更高效的 LM 架构。
英伟达直接把服务器级别的算力塞进了机器人体内。 全新的机器人计算平台Jetson Thor正式发售，基于最新的Blackwell GPU架构，AI算力直接飙升到2070 TFLOPS，比上一代Jetson Orin提高至整整7.5倍，同时能效提高至3.5倍。
大模型“世子之争”，果然暗潮汹涌（doge）。 这不“手机内存不够”怎么办，如果你问问DeepSeek老师：你和豆包删一个你删谁？
今天 ，OpenAI 开源了俩模型：120B/20B 117B 的 gpt-oss-120b 对标 o4-min，按官方说法至少需要 80G 内存，推荐使用单卡 H100 GPU 而刚买的的游戏本，刚好满足gpt-oss-120b 的部署条件
近日，一位开发者在 GitHub 上公开警告称，字节跳动旗下 AI 编程环境 Trae IDE 存在在用户未明确知情的情况下，将数据上传至字节服务器的行为，即便用户已在设置中手动关闭遥测（Telemetry）功能。
近年来，大语言模型（LLM）的能力越来越强，但它们的“饭量”也越来越大。这个“饭量”主要体现在计算和内存上。当模型处理的文本越来越长时，一个叫做“自注意力（Self-Attention）”的核心机制会导致计算量呈平方级增长。这就像一个房间里的人开会，如果每个人都要和在场的其他所有人单独聊一遍，那么随着人数增加，总的对话次数会爆炸式增长。
大型语言模型已展现出卓越的能力，但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别，训练和推理的成本变得高昂，阻碍了其在许多实际应用中的推广与落地。
Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的Transformer。网友们直呼炸裂：又一个改变游戏规则的炸弹来了。