搜索
通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
最近，全球 AI 和机器学习顶会 ICLR 2025 公布了论文录取结果：由 IDEA、清华大学、北京大学、香港科技大学（广州）联合团队提出的 ChartMoE 成功入选 Oral (口头报告) 论文。据了解，本届大会共收到 11672 篇论文，被选中做 Oral Presentation（口头报告）的比例约为 1.8%
当你翻开相册，看到一张平淡无奇的风景照，是否希望它能更温暖、更浪漫，甚至更忧郁？现在，EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词，EmoEdit 便能巧妙调整画面，使观众感知你想传递的情感。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。
DeepSeek 开源周的第三天，带来了专为 Hopper 架构 GPU 优化的矩阵乘法库 — DeepGEMM。这一库支持标准矩阵计算和混合专家模型（MoE）计算，为 DeepSeek-V3/R1 的训练和推理提供强大支持，在 Hopper GPU 上达到 1350+FP8 TFLOPS 的高性能。
DeepSeek 本周正在连续 5 天发布开源项目，今天是第 2 天，带来了专为混合专家模型（MoE）和专家并行（EP）打造的高效通信库 — DeepEP。就在半小时前，官方对此进行了发布，以下是由赛博禅心带来的详解。
字节出了个全新架构，把推理成本给狠狠地打了下去！推理速度相比MoE架构提升2-6倍，推理成本最高可降低83%。
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
11月27日，猎户星空联合聚云科技举办了题为《Data Ready for Al，MoE大模型发布暨商业闭环分享》媒体见面会。猎户星空正式发布了自主研发的Orion-MoE 8×7B大模型，并携手聚云科技推出了基于该大模型的数据服务—AI数据宝AirDS（AI-Ready Data Service）。
一个是开源，一个是MoE （混合专家模型）。 开源好理解，在大模型火热之后，加入战局的腾讯已经按照它自己的节奏开源了一系列模型，包括混元文生图模型等。