500万TPM+20msTPOT，火山引擎用「AI云原生」重构大模型部署范式
500万TPM+20msTPOT，火山引擎用「AI云原生」重构大模型部署范式部署 DeepSeek 系列模型，尤其是推理模型 DeepSeek-R1，已经成为一股不可忽视的潮流。
来自主题: AI资讯
8160 点击 2025-02-26 14:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
部署 DeepSeek 系列模型，尤其是推理模型 DeepSeek-R1，已经成为一股不可忽视的潮流。
开源模型，还是得看杭州。
尽管多模态大语言模型（MLLMs）取得了显著的进展，但现有的先进模型仍然缺乏与人类偏好的充分对齐。这一差距的存在主要是因为现有的对齐研究多集中于某些特定领域（例如减少幻觉问题），是否与人类偏好对齐可以全面提升MLLM的各种能力仍是一个未知数。
进入到 2025 年，视频生成（尤其是基于扩散模型）领域还在不断地「推陈出新」，各种文生视频、图生视频模型展现出了酷炫的效果。其中，长视频生成一直是现有视频扩散的痛点。
何恺明再次开宗立派！开辟了生成模型的全新范式——
DeepSeek 的开源周已经进行到了第三天（前两天报道见文末「相关阅读」）。今天开源的项目名叫 DeepGEMM，是一款支持密集型和专家混合（MoE）GEMM 的 FP8 GEMM 库，为 V3/R1 的训练和推理提供了支持，在 Hopper GPU 上可以达到 1350+ FP8 TFLOPS 的计算性能。
DeepSeek 开源周的第三天，带来了专为 Hopper 架构 GPU 优化的矩阵乘法库 — DeepGEMM。这一库支持标准矩阵计算和混合专家模型（MoE）计算，为 DeepSeek-V3/R1 的训练和推理提供强大支持，在 Hopper GPU 上达到 1350+FP8 TFLOPS 的高性能。
昨天的AI新闻有点太密集了，肝快废了。
本文深入解析一项开创性研究——"Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning"，该研究通过基于规则的强化学习技术显著提升了语言模型的推理能力。微软亚洲的研究团队受DeepSeek-R1成功经验的启发，利用结构化的逻辑谜题作为训练场，为模型创建了一个可以系统学习和改进推理技能的环境。
AI开源潮涌现，推理模型成主流。