AI资讯新闻榜单内容搜索-Skywork

关键词: 天工MoE,稀疏大模型,Skywork-MoE,昆仑万维

在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。

关键词: 昆仑万维模型,Skywork-13B,AI大模型

开源最彻底的大模型来了——130亿参数，无需申请即可商用。 不仅如此，它还附带着把全球最大之一的中文数据集也一并开源了出来：600G、1500亿tokens！