AI资讯新闻榜单内容搜索-MoE

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: MoE
清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

清华团队革新MoE架构!像搭积木一样构建大模型,提出新型类脑稀疏模块化架构

探索更高效的模型架构, MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质,将大模型拆解成若干功能模块,每次计算仅激活其中一小部分,而保持其余模块不被使用,从而大大降低了模型的计算与学习成本,能够在同等计算量的情况下产生性能优势。

来自主题: AI技术研报
3132 点击    2024-11-01 17:11
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

自去年底以来,时序预测领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。

来自主题: AI技术研报
3402 点击    2024-10-31 15:11
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明,TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上,相较于现有方法具有显著的性能优势。

来自主题: AI技术研报
4996 点击    2024-10-28 18:30
时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型,参数规模突破十亿级别。 来自全球多只华人研究团队提出了一种基于混合专家架构(Mixture of Experts, MoE)的时间序列基础模型——Time-MoE。

来自主题: AI资讯
3604 点击    2024-10-28 17:13
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

Time-MoE采用了创新的混合专家架构,能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。

来自主题: AI技术研报
3814 点击    2024-10-23 13:40
颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

比传统MoE推理速度更快、性能更高的新一代架构,来了! 这个通用架构叫做MoE++,由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。

来自主题: AI技术研报
3284 点击    2024-10-21 11:22
Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

7 年前,谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年,谷歌又发布了 Universal Transformer(UT)。它的核心特征是通过跨层共享参数来实现深度循环,从而重新引入了 RNN 具有的循环表达能力。

来自主题: AI技术研报
8549 点击    2024-10-19 14:29
中国最大开源MoE模型,255B参数无条件免费商用,元象发布

中国最大开源MoE模型,255B参数无条件免费商用,元象发布

中国最大开源MoE模型,255B参数无条件免费商用,元象发布

元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。

来自主题: AI资讯
4084 点击    2024-09-14 14:58
腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

鹅厂新一代旗舰大模型混元Turbo技术报告首次曝光。模型采用全新分层异构的MoE架构,总参数达万亿级别,性能仅次于GPT-4o,位列国内第一梯队。

来自主题: AI资讯
8376 点击    2024-09-12 20:48
第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。

来自主题: AI技术研报
8012 点击    2024-09-05 22:02