# 热门搜索 #
搜索
「天工2.0」MoE大模型发布
9739点击    2024-02-06 12:48

「天工AI」国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世。


北京时间2月6日,昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP,这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP,体验昆仑万维「天工2.0」MoE大模型的卓越性能。 


「天工2.0」是昆仑万维自去年4月发布双千亿级大语言模型「天工」以来的最大规模版本升级,其采用业内顶尖的MoE专家混合模型架构,应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。


此次更新全面升级了AI搜索、对话、阅读、创作的回答质量与响应速度,搭载强大的多模态能力,支持图文对话、文生图等多模态应用,支持最高100K的超长上下文窗口(超过15万个汉字),并新增了AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多项新兴玩法,让AI更聪明、更实用、更有趣,成为每个人日常生活中的全能AI小助手。



昆仑万维致力于人工智能模型算法的创新与开拓,不断探索通用人工智能技术前沿。除了双千亿级大语言模型「天工」、MoE专家混合大模型「天工2.0」外,昆仑万维还围绕「天工」系列大模型,推出了百亿级开源大语言模型系列「天工Skywork-13B」、AI Agent开发平台「天工SkyAgents」、多模态大语言模型「天工Skywork-MM」等前沿AI产品,并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵,是国内模型技术与工程能力最强、布局最全面的人工智能大模型企业之一。


MoE:全球顶尖的大模型核心技术路径


MoE(Mixture-of-Experts,专家混合模型)是当前大语言模型赛道技术最顶尖、研发最前沿的底层架构,是全球最领先的大模型核心技术路径之一。


自2023年6月以来,昆仑万维不断针对MoE架构技术最前沿进行研发探索,并成功发布国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用——「天工AI智能助手」APP。


「天工AI智能助手」以昆仑万维「天工2.0」MoE大模型为核心技术引擎,其技术原理是将复杂的大模型任务拆解为多个更小、更细分的子任务,每个子任务都由垂直领域的专家模型处理,从而使得昆仑万维「天工2.0」不仅大幅提高了模型训练与推理的性能和效率,更能实现多个垂直领域的知识融合,使模型能够更好地理解和处理不同应用场景下的复杂问题,为用户提供更准确、更全面的回答方案。


同时,昆仑万维技术团队更是通过一系列针对性的MoE技术攻关,在投入大量研发训练资源后,最终解决了困扰整个MoE产业的模型不收敛、特定任务泛化效果较差等核心性能问题,使「天工2.0」的模型性能得到显著提升。

 

模型性能更强、速度更快、架构更灵活


「天工2.0」的技术领先性体现在其核心MoE架构的卓越优势。MoE架构主要由门控模型/路由器(Gating Model/Router)和一组专家模型(Experts Models)构成,当数据输入门控模型/路由器时,系统会根据任务类型将每个token分配给一个或多个专家模型,使得每个专家模型可以专注于处理该部分数据,从而获得模型性能的整体提升。


较之传统大模型架构,「天工2.0」具有以下优势:


1.       应对复杂任务能力更强:「天工2.0」MoE模型集成了多个专家模型,每个专家模型都能针对不同的数据分布和构建模式进行搭建,从而显著提升大模型在各个细分领域的专业能力,整体模型通过整合各自专家模型的输出结果,使得「天工2.0」在处理复杂任务、多模态任务时拥有显著性能提升。


2.       速度更快、效率更高:由于MoE模型推理计算过程中只有少数特定专家模型被激活,相较于同等参数规模的稠密模型,「天工2.0」MoE模型呈现出极高的稀疏性,使其拥有更高的推理计算效率,从而让用户获得更快的AI响应速度。


3.       灵活、多样、可扩展性更强:一方面,模型稀疏性使得「天工2.0」能够在不增加计算量的前提下显著扩张模型规模,在同等计算资源下获得更强的模型性能;另一方面,通过增加专家模型数量、调整专家模型的权重配比,「天工2.0」能够极大丰富模型的可扩展性,构建更为灵活、多样、可扩展性更强的新时代大模型。

 

「天工AI智能助手」APP全面升级


强大的多模态能力:「天工AI智能助手」所采用的多模态大模型基于一体化的开发策略,在底座模型的基础上进行深入开发与优化,引入多分辨率的视觉编码器和强大的语言基座模型,使其能够支持任意尺寸的图片输入和复杂的用户指令。


在强大的多模态大模型能力加持下,新版「天工AI智能助手」具备优秀的视觉理解、推理和指令遵循能力,能够满足图文对话、图文创作、知识问答等多种用户需求。同时,得益于模型杰出的理解能力,新版「天工AI智能助手」生成的图像在内容丰富度、精细度和图像质量上均表现卓越。



与此同时,在强大的多模态能力加持下,「天工AI智能助手」还能生成图文并茂的答案内容,让用户问出“螺蛳粉怎么做?”“怎么用吉他弹《稻香》?”“2024春节放假安排?”这类问题时能够得到图像/视频辅助呈现,使得AI回答的结果更直观,内容更丰富。


文章来自于36氪 “昆仑资本”


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI音乐

【开源免费】suno-api是一个使用监听技术实现了调用suno功能,并封装好API的AI音乐项目。

项目地址:https://github.com/gcui-art/suno-api

2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/