AI资讯新闻榜单内容搜索-MoE

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: MoE
一文详解:DeepSeek 第三天开源的 DeepGEMM

一文详解:DeepSeek 第三天开源的 DeepGEMM

一文详解:DeepSeek 第三天开源的 DeepGEMM

DeepSeek 开源周的第三天,带来了专为 Hopper 架构 GPU 优化的矩阵乘法库 — DeepGEMM。这一库支持标准矩阵计算和混合专家模型(MoE)计算,为 DeepSeek-V3/R1 的训练和推理提供强大支持,在 Hopper GPU 上达到 1350+FP8 TFLOPS 的高性能。

来自主题: AI技术研报
5948 点击    2025-02-26 10:46
一文详解:DeepSeek 第二天开源的 DeepEP

一文详解:DeepSeek 第二天开源的 DeepEP

一文详解:DeepSeek 第二天开源的 DeepEP

DeepSeek 本周正在连续 5 天发布开源项目,今天是第 2 天,带来了专为混合专家模型(MoE)和专家并行(EP)打造的高效通信库 — DeepEP。就在半小时前,官方对此进行了发布,以下是由赛博禅心带来的详解。

来自主题: AI技术研报
7562 点击    2025-02-25 11:18
DeepSeek开源放大招:FlashMLA让H800算力狂飙!曝光低成本秘笈

DeepSeek开源放大招:FlashMLA让H800算力狂飙!曝光低成本秘笈

DeepSeek开源放大招:FlashMLA让H800算力狂飙!曝光低成本秘笈

DeepSeek开源周第一天就放大招!FlashMLA强势登场,这是专为英伟达Hopper GPU打造MLA解码内核。注意,DeepSeek训练成本极低的两大关键,一个是MoE,另一个就是MLA。

来自主题: AI资讯
8905 点击    2025-02-24 10:57
月之暗面Kimi的技术一点都不落后。

月之暗面Kimi的技术一点都不落后。

月之暗面Kimi的技术一点都不落后。

2 月 18 日,月之暗面发布了一篇关于稀疏注意力框架 MoBA 的论文。MoBA 框架借鉴了 Mixture of Experts(MoE)的理念,提升了处理长文本的效率,它的上下文长度可扩展至 10M。并且,MoBA 支持在全注意力和稀疏注意力之间无缝切换,使得与现有的预训练模型兼容性大幅提升。

来自主题: AI技术研报
7256 点击    2025-02-23 11:38
一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA

一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA

一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA

在大语言模型领域中,预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下,通过使用搭低秩自适应(LoRA)方法的大模型参数高效微调(PEFT)技术,已经产生了大量针对特定任务、可重用的 LoRA 适配器。

来自主题: AI技术研报
6878 点击    2025-02-22 13:57
起猛了,腾讯元宝接入DeepSeek了。

起猛了,腾讯元宝接入DeepSeek了。

起猛了,腾讯元宝接入DeepSeek了。

这应该是我知道的第一家有自己大模型的大厂,第一次在面向C端的AI助手应用中,第一次接入DeepSeek R1。这个意义影响还是非常深远的,腾讯在AI这一步上,好像走的格外的开放,从之前的批量开源MoE、混元绘图模型、混元视频模型、混元3D模型,还有今天这神之一手接入DeepSeek R1。

来自主题: AI资讯
7963 点击    2025-02-13 13:31
推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

字节出了个全新架构,把推理成本给狠狠地打了下去!推理速度相比MoE架构提升2-6倍,推理成本最高可降低83%。

来自主题: AI技术研报
5886 点击    2025-02-12 11:37
国运级的创新?从 DeepSeek-V3 到 R1 的架构创新与误传的万字长文分析

国运级的创新?从 DeepSeek-V3 到 R1 的架构创新与误传的万字长文分析

国运级的创新?从 DeepSeek-V3 到 R1 的架构创新与误传的万字长文分析

DeepSeek 的最新模型 DeepSeek-V3 和 DeepSeek-R1 都属于 MoE(混合专家)架构,并在开源世界产生了较大的影响力。特别是 2025 年 1 月开源的 DeepSeek-R1,模型性能可挑战 OpenAI 闭源的 o1 模型。

来自主题: AI资讯
9616 点击    2025-02-09 22:14