近日,由创新工场董事长兼CEO李开复亲自领导的AI公司零一万物,在官网正式开源了两款预训练大模型Yi-34B和6B。这是继今年7月成立后,零一万物的首次重磅发布,也是中国首个登顶全球开源大模型排行榜的国产模型。
零一万物此次开源发布的Yi系列模型,包含34B(340亿)和6B(60亿)参数两个版本。这两个版本均于11月2日上线了开源社区Hugging Face,截至11月5日,Yi-34B在英文预训练开源模型榜单上以70.72的平均分排名第一,碾压LLaMA2-70B和Falcon-180B等众多大尺寸模型。
在中文大模型榜单C-Eval排行榜上,Yi-34B也超越了全球所有开源模型,成为全球开源大模型“双料冠军”,也是迄今为止唯一成功登顶Hugging Face全球开源模型排行榜的国产模型。
Yi系列模型的出色表现,得益于零一万物的技术创新和优化。首先,Yi拥有全球最长的200K上下文窗口,可以处理约40万字的超长文本输入,相比之下,OpenAI的GPT-4上下文窗口只有32K,文字处理量约2.5万字。
上下文窗口是大模型综合运算能力的金指标之一,对于理解和生成与特定上下文相关的文本至关重要,拥有更长窗口的语言模型可以处理更丰富的知识库信息,生成更连贯、准确的文本。
其次,Yi在预训练阶段尽可能保留模型的通用能力,没有加入过多的数学和代码数据,因此在常识推理、阅读理解、知识推理等多项指标上表现突出,与Hugging Face评测高度一致。
最后,Yi在训练数据的选择和清洗上也非常严格,从100多T的数据中筛选出了3T的高质量数据,其中包含了中英双语的语料,使得Yi能够更好地适应中文市场的需求。
零一万物的AI布局,是李开复对AI 2.0时代的前瞻性判断和战略部署。李开复认为,AI 2.0时代,最大的商机将出现在To C/消费级的超级应用,而大模型是实现这一目标的核心技术。
大模型是指能够处理海量数据的人工智能模型,具有强大的通用性和创造性,可以跨领域、跨媒体、跨语言地执行各种任务,是AI 2.0时代的核心技术。李开复曾经表示,“做过大模型Infra的人比做算法的人才更稀缺”。因此,零一万物的AI布局,以大模型为核心,以AI 2.0为目标,打造中国领先的大模型技术团队。
零一万物的AI布局,有什么进展?零一万物的新产品对这家公司商业化和产品有何积极影响?据了解,零一万物的团队成员来自Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景,并持续延揽全球范围内最优秀的华人AI精英。
零一万物算法和模型团队成员,有论文曾被GPT-4引用的算法大拿,有获得过微软内部研究大奖的优秀研究员,曾获得过阿里CEO特别奖的超级工程师。总计在ICLR、NeurIPS、CVPR、ICCV等知名学术会议上发表过大模型相关学术论文100余篇。
零一万物的新产品Yi系列模型,是这支团队近半年的厚积薄发,以稳定的节奏和全球齐平的研究工程能力,交出了第一张极具全球竞争力的耀眼成绩单。Yi系列模型的开源,不仅展示了零一万物的技术实力,也为零一万物的商业化和产品开拓了广阔的空间。
李开复表示,零一万物将基于Yi系列大模型,打造更多To C超级应用,邀请开发者社群跟他们一起搭建Yi开源模型的应用生态系,协力打造AI 2.0时代的超级应用。
零一万物的AI布局,也得到了资本市场的认可和支持。据悉,零一万物已完成新一轮融资,由阿里云领投,目前估值已超10亿美元,跻身独角兽行列。
这是继今年7月成立后,零一万物的首轮融资,也是阿里云首次投资AI 2.0领域的公司。阿里云的投资,不仅为零一万物提供了充足的资金支持,也为零一万物提供了强大的云计算平台和算力资源,有助于零一万物加速大模型的研发和应用。
李开复透露,零一万物将会持续投入大量资金进行布局AI,下一步的方向会是多模态大模型,以及基于大模型的消费级超级应用。李开复认为,AI 2.0是有史以来最大的科技革命,它带来的改变世界的最大机会一定是平台和技术,正如PC时代的微软Office,移动互联网时代的微信、抖音、美团一样,商业化爆发式增长概率最高的一定是ToC应用。零一万物的愿景是在AI 2.0时代再做一款微信、抖音。
本文来自微信公众号“新工业洞察”(ID:xingongye8),作者:松果智能Hub