“FP8 精度”如何赋能国产AI?
“FP8 精度”如何赋能国产AI?当前AI大模型（LLM）训练与推理对算力的巨大需求，以及传统计算精度（如FP16/BF16）面临的功耗、内存带宽和计算效率瓶颈。
来自主题: AI技术研报
5169 点击 2025-09-02 12:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当前AI大模型（LLM）训练与推理对算力的巨大需求，以及传统计算精度（如FP16/BF16）面临的功耗、内存带宽和计算效率瓶颈。
当前，业界顶尖的大模型正竞相挑战“过度思考”的难题，即无论问题简单与否，它们都采用 “always-on thinking” 的详细推理模式。无论是像 DeepSeek-V3.1 这种依赖混合推理架构提供需用户“手动”介入的快慢思考切换，还是如 GPT-5 那样通过依赖庞大而高成本的“专家路由”机制提供的自适应思考切换。
DeepSeek发布DeepSeek-V3.1，使用的UE8M0 FP8 Scale针对下一代国产芯片设计
这段时间 AI 编程的热度完全没退，一个原因是国内接连推出开源了不少针对编程优化的大模型，主打长上下文、Agent 智能体、工具调用，几乎成了标配，成了 Claude Code 的国产替代，比如 GLM-4.5、DeepSeek V3.1、Kimi K2。
智东西9月1日消息，苹果又公布了大模型研发新进展！ 8月28日，苹果在arXiv发布新论文，介绍新一代多模态基础模型MobileCLIP2及其背后的多模态强化训练机制，同天在GitHub、Hugging Face上开源了模型的预训练权重和数据生成代码。
在AI以指数级加速迈向ASI的2025年，新智元迎来十周年历史时刻，将于9月7日在北京中关村软件园举办盛大峰会。大会以「新天终启，万象智生」为主题，汇聚百度王海峰、英伟达赖俊杰、百川智能王小川、昆仑万维方汉、未来智能胡郁等多位重量级嘉宾，共同探讨芯片、大模型、Agent、具身智能及医疗智能等全球ASI最前沿突破，展望ASI重塑人类社会的恢弘篇章。
没想到啊，最新SOTA的开源大模型…… 来自一个送外卖（Waimai）的——有两个AI，确实不一样。 这个最新开源模型叫：Longcat-Flash-Chat，美团第一个开源大模型，发布即开源，已经在海内外的技术圈子里火爆热议了。
GRPO 就像一个树节点，从这里开始开枝散叶。
昨天，美团低调地开源了其560B参数的混合专家（MoE）模型——LongCat-Flash。 一时间，大家的目光都被吸引了过去，行业内的讨论大多围绕着它在公开基准测试中媲美顶尖模型的性能数据，以及其精巧的MoE架构设计。
今天，是9月1号。 可能很多朋友还不知道，今天，有个跟整个行业都相关的法规，开始正式实行了。