AI资讯新闻榜单内容搜索-专家模型

关键词: AI,MoE,Hunyuan-Large,混元大模型

一个是开源，一个是MoE （混合专家模型）。 开源好理解，在大模型火热之后，加入战局的腾讯已经按照它自己的节奏开源了一系列模型，包括混元文生图模型等。

关键词: AnyGraph,图大模型,Scaling Law,MoE,模型训练

AnyGraph聚焦于解决图数据的核心难题，跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性，通过轻量化路由机制和高效设计提升快速适应能力，且在泛化能力上符合Scaling Law。

关键词: SMoE,MoE,AI,AI论文,模型训练

最近 ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。

关键词: MoE,AI,AI论文,AI学术,模型训练

最近ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。

关键词: GPT-4,大模型,医疗专家模型,LLMs

本文研究发现大语言模型在持续预训练过程中出现目标领域性能先下降再上升的现象。

关键词: MoE,混合专家模型,模型训练,GeRM,通用机器人模型

多任务机器人学习在应对多样化和复杂情景方面具有重要意义。然而，当前的方法受到性能问题和收集训练数据集的困难的限制

关键词: 马斯克,AI,开源AI,Grok-1

拒绝赛博朋克，千呼万唤始出来。为了兑现牛逼，马斯克最近下了血本：Grok-1宣布开源。据官方信息，这是一个参数高达3140亿的混合专家模型，是目前所有开源模型中规模最大的。

关键词: 微调,大模型训练,对弈机制,GPT-4

来自UCLA的华人团队提出一种全新的LLM自我对弈系统，能够让LLM自我合成数据，自我微调提升性能，甚至超过了用GPT-4作为专家模型指导的效果。

关键词: GPT-4,Prompt,LLM,大模型

大模型幻觉问题还有另一种解法？斯坦福联手OpenAI研究人员提出「元提示」新方法，能够让大模型成为全能「指挥家」，汇聚不同专家模型精华，让GPT-4的输出更精准。

关键词: Gemini,Q*,混合专家模型,MoE

这项综述性研究报告批判性地分析了生成式AI的发展现状和发展方向，并探究了谷歌Gemini和备受期待的OpenAI Q*等创新成果将如何改变多个领域的实际应用。