训练、推理性价比创新高。 大语言模型（LLM），正在进入 Next Level。 周五凌晨，阿里通义团队正式发布、开源了下一代基础模型架构 Qwen3-Next。总参数 80B 的模型仅激活 3B ，性能就可媲美千问 3 旗舰版 235B 模型，也超越了 Gemini-2.5-Flash-Thinking，实现了模型计算效率的重大突破。
随着DeepSeek R1、Kimi K2和DeepSeek V3.1混合专家（MoE）模型的相继发布，它们已成为智能前沿领域大语言模型（LLM）的领先架构。由于其庞大的规模（1万亿参数及以上）和稀疏计算模式（每个token仅激活部分参数而非整个模型），MoE式LLM对推理工作负载提出了重大挑战，显著改变了底层的推理经济学。
昨天，美团低调地开源了其560B参数的混合专家（MoE）模型——LongCat-Flash。 一时间，大家的目光都被吸引了过去，行业内的讨论大多围绕着它在公开基准测试中媲美顶尖模型的性能数据，以及其精巧的MoE架构设计。
在构建更强大的 AI 模型的这场竞赛中，传统路径很简单：升级到最新最强大的硬件。但 Cursor 发现释放下一代 GPU 的真正潜力远非即插即用那么简单。
一句话概括，传统MoE就像公司派固定人数团队，Grove MoE则像智能调度系统，小项目派少数人，大项目集中火力，效率与效果兼得。
稀疏激活的混合专家模型（MoE）通过动态路由和稀疏激活机制，极大提升了大语言模型（LLM）的学习能力，展现出显著的潜力。基于这一架构，涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
gpt5来临前夕，oai疑似发布的小模型gpt-oss 120B的架构图已经满天飞了。难得openai要open一次，自然调动了我的全部注意力机制。本来以为oai还要掏出gpt2意思意思，结果看到了一个120B moe。欸？！
从GPT-2到DeepSeek-V3和Kimi K2，架构看似未变，却藏着哪些微妙升级？本文深入剖析2025年顶级开源模型的创新技术，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
电影级视频生成模型来了。
只需一次指令微调，即可让普通大模型变身“全能专家天团”？
