ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
李开复回应放弃预训练:训一次大模型三四百万美元,头部公司都付得起|最前线
2146点击    2024-10-17 09:56

零一万物的最新模型,打榜赢了GPT-4o。


“零一万物绝不放弃预训练。”


2024年10月16日,AI独角兽零一万物创始人兼CEO李开复,公开立了军令状。也在同一天,零一万物发布了最新的MoE(混合专家)架构的旗舰大模型:Yi-Lightning。


这也是时隔5个月后,零一万物再次更新模型的新动态。


李开复表示,Yi-Lightning的训练只用了2000张GPU,训练周期仅一个半月,成本只有300多万美元,是埃隆·马斯克的xAI成本的1%、2%。


训练成本虽然低,但Yi-Lightning的性能并没有打折扣。在加州大学伯克利分校LMSYS团队的Chatbot Arena(聊天机器人竞技场)总榜单上,Yi-Lightning的性能与xAI的Grok-2-08-13模型并列第6,并且超越了OpenAI的GPT-4o-2024-05-13。


LMSYS团队的Chatbot Arena(聊天机器人竞技场)大语言模型综合能力总榜单。图源:零一万物


值得注意的是,在中文能力上,Yi-Lightning与OpenAI的最新模型o1-mini版本并列取得了第二;在数学能力上,Yi-Lightning和Gemini-1.5-Pro-002并列第3,仅次于在数学、逻辑推理见长的o1。


在定价上,Yi-Lightning也创了零一万物模型的最低定价:0.99元/百万Token。


零一万物模型定价。图源:零一万物官网


当然,榜单排名并不意味着模型在任务场景下的能力。在发布会上,零一万物着重在实用性上,让Yi-Lightining秀了一把肌肉。


比如,Yi-Lightining相比2024年5月发布的Yi-Large,首包时间(从接收到任务请求到系统开始输出响应结果之间的时间)缩短了一半,最高生成速度提升了近四倍。


具体到翻译场景,Yi-Lightining比豆包、DeepSeek、通义千问最新旗舰模型的翻译速度更快,且翻译结果更加信达雅。


四个模型在相同翻译任务上的表现。图源:零一万物


发布会上,李开复也揭秘了Yi-Lightning的训练策略:


  • 独特的混合注意力机制(Hybrid Attention):在处理长序列数据的过程中,能够提高性能的同时,还能降低推理成本;


  • 动态Top-P路由机制:根据任务难度自动选择最合适的专家网络组合;


  • 多阶段训练(Multi-stage Training):让模型在不同阶段吸收不同的知识,方便mixing团队进行数据配比的调试工作,并能保证不同阶段的训练速度和稳定性。


在2024年5月份的发布会上,零一万物在国内发布了C端的生产力产品“万知”。时隔五个月,零一万物的B端商业化版图也有了新的进展——聚焦零售和电商等场景的AI 2.0数字人。


AI 2.0数字人的背后,是电商话术大模型、角色大模型、直播声音大模型的多模态协同训练。目前,AI 2.0数字人还接入了Yi-Lightning。用户只需要输入出售的商品、声音的性别和语调,就能生成相应的数字人。


零一万物AI 2.0数字人接入Yi-Lightning前后对比。图源:零一万物


如今,大模型发展也来到了技术探索的深水区。即便立下了“绝不放弃预训练”的军令状,李开复也承认:“但不是每家公司都可以做这件事情,做这件事情的成本也比较高,以后有可能会越来越少的大模型公司训练做预训练。”


不过,对如今六家大模型独角兽,李开复依然抱有乐观的态度:


“据我所知,这六家公司融资额度都是够的,我们做预训练的production run,训练一次三四百万美金,这个钱也是头部公司都付得起,我觉得中国的六家大模型公司只要有够好的人才,想做预训练的决心,融资额跟芯片都不会是问题的。”


文章来自于“ 36氪”,作者“ 周鑫雨”


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
数字人

【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,

“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。

项目地址:https://github.com/xszyou/Fay

2
免费使用GPT-4o

【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。

在线使用:https://ffa.chat/

3
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales