昨天，美团低调地开源了其560B参数的混合专家（MoE）模型——LongCat-Flash。 一时间，大家的目光都被吸引了过去，行业内的讨论大多围绕着它在公开基准测试中媲美顶尖模型的性能数据，以及其精巧的MoE架构设计。
在构建更强大的 AI 模型的这场竞赛中，传统路径很简单：升级到最新最强大的硬件。但 Cursor 发现释放下一代 GPU 的真正潜力远非即插即用那么简单。
一句话概括，传统MoE就像公司派固定人数团队，Grove MoE则像智能调度系统，小项目派少数人，大项目集中火力，效率与效果兼得。
稀疏激活的混合专家模型（MoE）通过动态路由和稀疏激活机制，极大提升了大语言模型（LLM）的学习能力，展现出显著的潜力。基于这一架构，涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
gpt5来临前夕，oai疑似发布的小模型gpt-oss 120B的架构图已经满天飞了。难得openai要open一次，自然调动了我的全部注意力机制。本来以为oai还要掏出gpt2意思意思，结果看到了一个120B moe。欸？！
从GPT-2到DeepSeek-V3和Kimi K2，架构看似未变，却藏着哪些微妙升级？本文深入剖析2025年顶级开源模型的创新技术，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
电影级视频生成模型来了。
只需一次指令微调，即可让普通大模型变身“全能专家天团”？
今天下午，阶跃星辰在 WAIC 2025 开幕前夕发布新一代基础大模型 Step 3，并宣布将在 7 月 31 日面向全球企业和开发者开源。MoE 架构，321B 总参，38B 激活
近日，月之暗面(Moonshot AI)正式发布了其万亿参数开源大模型Kimi K2，这一具有里程碑意义的AI模型凭借其创新的MoE架构和强大的Agentic能力迅速获得全球开发者关注。然而，随着用户量激增，部分开发者开始反映其API服务响应速度不尽如人意。面对这一情况，月之暗面于7月15日迅速作出官方回应，坦诚当前服务延迟问题，并详细说明了优化方案。
