AI资讯新闻榜单内容搜索-MoE

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: MoE
ICLR 2025 Oral | IDEA联合清华北大提出ChartMoE:探究下游任务中多样化对齐MoE的表征和知识

ICLR 2025 Oral | IDEA联合清华北大提出ChartMoE:探究下游任务中多样化对齐MoE的表征和知识

ICLR 2025 Oral | IDEA联合清华北大提出ChartMoE:探究下游任务中多样化对齐MoE的表征和知识

最近,全球 AI 和机器学习顶会 ICLR 2025 公布了论文录取结果:由 IDEA、清华大学、北京大学、香港科技大学(广州)联合团队提出的 ChartMoE 成功入选 Oral (口头报告) 论文。据了解,本届大会共收到 11672 篇论文,被选中做 Oral Presentation(口头报告)的比例约为 1.8%

来自主题: AI技术研报
3451 点击    2025-04-01 15:27
CVPR 2025 | EmoEdit:情感可编辑?深大VCC带你见证魔法!

CVPR 2025 | EmoEdit:情感可编辑?深大VCC带你见证魔法!

CVPR 2025 | EmoEdit:情感可编辑?深大VCC带你见证魔法!

当你翻开相册,看到一张平淡无奇的风景照,是否希望它能更温暖、更浪漫,甚至更忧郁?现在,EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词,EmoEdit 便能巧妙调整画面,使观众感知你想传递的情感。

来自主题: AI技术研报
8834 点击    2025-03-31 09:25
Dense与MoE大模型架构后续发展解读

Dense与MoE大模型架构后续发展解读

Dense与MoE大模型架构后续发展解读

过去十年,自然语言处理领域经历了从统计语言模型到大型语言模型(LLMs)的飞速发展。

来自主题: AI技术研报
8857 点击    2025-03-28 09:45
一文详解:DeepSeek 第三天开源的 DeepGEMM

一文详解:DeepSeek 第三天开源的 DeepGEMM

一文详解:DeepSeek 第三天开源的 DeepGEMM

DeepSeek 开源周的第三天,带来了专为 Hopper 架构 GPU 优化的矩阵乘法库 — DeepGEMM。这一库支持标准矩阵计算和混合专家模型(MoE)计算,为 DeepSeek-V3/R1 的训练和推理提供强大支持,在 Hopper GPU 上达到 1350+FP8 TFLOPS 的高性能。

来自主题: AI技术研报
5671 点击    2025-02-26 10:46
一文详解:DeepSeek 第二天开源的 DeepEP

一文详解:DeepSeek 第二天开源的 DeepEP

一文详解:DeepSeek 第二天开源的 DeepEP

DeepSeek 本周正在连续 5 天发布开源项目,今天是第 2 天,带来了专为混合专家模型(MoE)和专家并行(EP)打造的高效通信库 — DeepEP。就在半小时前,官方对此进行了发布,以下是由赛博禅心带来的详解。

来自主题: AI技术研报
7125 点击    2025-02-25 11:18
推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025

字节出了个全新架构,把推理成本给狠狠地打了下去!推理速度相比MoE架构提升2-6倍,推理成本最高可降低83%。

来自主题: AI技术研报
5655 点击    2025-02-12 11:37
Meta探索大模型记忆层,扩展至1280亿个参数,优于MoE

Meta探索大模型记忆层,扩展至1280亿个参数,优于MoE

Meta探索大模型记忆层,扩展至1280亿个参数,优于MoE

预训练语言模型通常在其参数中编码大量信息,并且随着规模的增加,它们可以更准确地回忆和使用这些信息。

来自主题: AI技术研报
6804 点击    2025-01-04 14:14
猎户星空发布MoE大模型,推出AI数据宝AirDS

猎户星空发布MoE大模型,推出AI数据宝AirDS

猎户星空发布MoE大模型,推出AI数据宝AirDS

11月27日,猎户星空联合聚云科技举办了题为《Data Ready for Al,MoE大模型发布暨商业闭环分享》媒体见面会。猎户星空正式发布了自主研发的Orion-MoE 8×7B大模型,并携手聚云科技推出了基于该大模型的数据服务—AI数据宝AirDS(AI-Ready Data Service)。

来自主题: AI资讯
7985 点击    2024-11-28 10:12
腾讯开源“最大”大模型:如果你也相信MoE,那咱们就是好朋友

腾讯开源“最大”大模型:如果你也相信MoE,那咱们就是好朋友

腾讯开源“最大”大模型:如果你也相信MoE,那咱们就是好朋友

一个是开源,一个是MoE (混合专家模型)。 开源好理解,在大模型火热之后,加入战局的腾讯已经按照它自己的节奏开源了一系列模型,包括混元文生图模型等。

来自主题: AI资讯
3470 点击    2024-11-06 14:49
清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

探索更高效的模型架构, MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质,将大模型拆解成若干功能模块,每次计算仅激活其中一小部分,而保持其余模块不被使用,从而大大降低了模型的计算与学习成本,能够在同等计算量的情况下产生性能优势。

来自主题: AI技术研报
3131 点击    2024-11-01 17:11