ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
SAIL观察 | 大模型淘金热下,卖铲or卖水哪个更赚?
2131点击    2024-11-11 21:09

大模型掀起的 AI 新浪潮,激荡着全球科技创新领域的每一寸水域,无数创新技术和应用场景随之涌现。


这是大模型创业者的黄金时刻,对于大模型生态而言,同样也是一次难得的机遇。有人选择加入这场淘金盛宴,深入AI大模型的深水区,挖掘出前所未有的应用价值;也有人选择做金矿边的卖铲人,淘金客的卖水人,我们称他们为大模型“生态构建者”。



在2024年的SAIL奖申报项目中,大模型产品占比13.47%,而大模型生态(含技术底座)项目占比15.54%,而在TOP30榜单中,大模型生态获奖项目高达7个,大模型获奖项目仅有阶跃星辰Step系列通用大模型、智谱基座大模型GLM。


项目数量和获奖数量的双重反超,似乎显示出一种信号:大模型生态构建者们所耕耘的领域,正逐渐成为科技创新的新焦点,推动着大模型的浪潮向着更为广阔和深邃的方向奔腾而去。


“百模大战”鏖战正酣 卖铲人先赚一波


正如卖铲人在淘金热中成为最大赢家,在大模型时代,驱动AI发展的“三驾马车”——算力、算法、数据也扮演着类似的角色。


若论哪个最重要,可能大多数人都会投算力一票,毕竟,从国产算力荒、算力紧缺到供需错位、利用效率低下,大模型的发展一直处于“算力焦虑”的阴影之下。


一个朴素而有效的破局路径是,通过集群互联实现算力资源利用效率的最大化。近年来,各地政府已经紧锣密鼓地建设AI算力中心,而产业端也同样不甘落后,头部运营商、各大算力厂商都已加速布局大规模智算集群。


今年SAIL奖TOP30中,北京基流科技提出了“超大规模智算集群设计与实践”,基于英伟达的软硬件生态,构建了两个超大规模智算集群,集群上线初期无故障运行超过3天,并提升集群的有效算力超过600TFlops,保障高效率、高可靠性的深度学习模型训练;


基流科技供图


临港算力“中国电信临港智算中心”,据悉该项目已正式启用国内首个国产单池万卡液冷算力集群,创新性地采用网络中置、算力分层的“魔方”型,满足万亿级参数大模型训练所需的多机多卡并行、高吞吐无损通信等需求。


中国电信临港智算中心


在缓解算力紧缺焦虑上,今年斩获SAIL大奖来自上海人工智能实验室的DeepLink人工智能开放计算体系扮演了一个非常特殊的角色。


DeepLink在AI生态中的位置


在大模型生态系统中,DeepLink是适配硬件芯片与深度学习软件框架的中间层桥梁,提炼通用的芯片计算能力,向下打通芯片适配,向上适配训练、推理框架来支持算力应用,支持大模型在内的训练和推理应用于硬件芯片上。同时针对大模型训练场景,突破多维度并行、长文本和自适应训练技术,显著提升训练能效,从软、硬件两方面共同助力人工智能技术突破。


据介绍,DeepLink已与昇腾、寒武纪、沐曦、燧原科技、壁仞科技、天数智芯、中科海光等10余家硬件企业展开合作,完成了实验室语言大模型书生·浦语的推理适配。在应用上,DeepLink已与商汤科技、仪电集团、电信天翼云等多家应用企业就软硬件适配、芯片评测、产品化集成等维度展开合作。


DeepLink项目视频


随着大模型进一步演进,“三驾马车”的资源配置情况正在一点点发生改变。数据的重要性日益凸显,毕竟优质数据越多,模型效果越好,数据已经成为决定大模型优劣的差异化关键变量。


大模型时代究竟需要怎样的AI数据库?今年同样位列SAIL大奖MyScale AI数据库交出了自己的答卷。


当下,大语言模型早已不再局限于纯文本数据,但传统数据库只能处理机器容易处理的、如字符串等结构化数据,而非结构化数据,如文本、图片、视频等,虽然信息密度高,但并没有固定的模型或格式,处理效率低,缺乏标准性,无法简单地使用SQL等查询语言进行处理。


MyScale供图


而MyScale AI数据库采用多尺度向量/图索引算法作为非结构化数据的运算基础,这些算法能够有效地处理非结构化数据,提高其处理效率并通过多级存储保证AI数据库的高性能、高数据密度和高性价比。并通过提供一个统一的框架,将结构化数据、文本以及非结构化数据(即向量)管理、检索相融合,在同一个数据库中为用户提供统一的多模态数据管理和查询能力。


据介绍,自MyScale AI数据库开始商业化以来,已经服务了来自全球数十个国家的上百个企业用户,如新华社、科大讯飞、中国联通、亚马逊云科技、西门子、IBM、北京科学智能研究院等。



MyScale AI数据库项目视频


大模型最佳辅助 平台服务商“摆摊卖水”


大模型的角斗场上,没有人是天生的开发者,但人人都可能成为开发者,这个曾经的设想正被一群向淘金客卖水的聪明人实现。他们手中掌握着大量的预训练模型,就像拥有无数装满水的皮囊,随时准备为那些在大模型开发征途上的人们解渴助力。


如果你是一名工程师,想要一款个性化的定制级的大模型或应用程序,那么你可以直接在大模型商店里挑选零部件,基于大模型开发自己想要的应用,甚至直接调用预训练好的可用模型,无需二次开发。


比如今年SAIL之星——魔搭ModelScope,类似大模型领域的Github,它提供了大量高质量的开源模型与工具,将研发成果最大程度地惠及社区,基于模型训练、模型部署、模型调用等基础服务,魔搭ModelScope孵化了基础大模型、行业大模型15000余个,可应用于Agent、文档问答、语音助手、数字人、智能搜索RAG等应用生态场景。


魔搭ModelScope平台架构


此外,魔搭ModelScope也为开发者提供易于使用模型的工具,如模型管理工具、数据处理工具、模型微调工具、模型评估工具等。还开源了丰富多元的数据资源,如针对中文大模型安全治理的数据集、面向大模型SFT微调的中文数据集、服务于多模态大模型微调的图文对数据集、以及其他涵盖多语言、小语种文字和语音数据集等。


据了解,魔搭ModelScope社区用户已超700万,是国内规模最大的模型社区。



魔搭ModelScope项目视频


如果还想再进一步降低开发门槛,今年SAIL大奖得主——施耐德电气的EcoStruxure AI Module无疑为开发新手们打开了另一扇便捷之门。


施耐德电气自主研发的EcoStruxure AI Module是企业级一站式AI建模与运维平台,通过组件式组合的方式,不仅集成了身份认证、数据管理、AI建模、AI模型模版配置、AI模型商店多个功能模块,而且针对能源管理和工业自动化领域预置了多个成熟的AI模型模版,方便通过编辑配置文件,快速落地已经在行业内验证过的算法模型,可以帮助企业以低成本的方式,快速验证AI算法的合理性和实际效果。


EcoStruxure AI Module组件式开放架构


EcoStruxure AI Module相比传统的AI开发平台,具备在能源管理和工业自动化领域多年的行业积累,数十个已经被实际生产环境验证后的AI模型模版方便不同水平的用户(包括非软件开发的技术人员),也能轻松开启AI模型实现节能减排和智能化运维的大门,在AI世界里游刃有余的探索和创新。


EcoStruxture AI引擎项目视频


一个商人在沙漠的单行道上修一座加油站赚了钱,周围立刻多了十几座加油站,结果大家都玩完儿。但是第二个开了家旅馆,第三个人开了个披萨店,第四个人开了个超市……久而久之这里就会成为一个繁华的商业区。


大模型生态和这个故事非常相似的地方在于,封闭的竞争只会陷入内卷的僵局,当这个生态愈发繁荣之时,每一个细微之处都将被滋养,每一个企业,无论是专注于技术底座、模型开发,还是应用落地、生态平台,都能在这片肥沃的土壤中找到自己的盈利点。


文章来自于微信公众号“世界人工智能大会”,作者“WAIC”


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
数字人

【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,

“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。

项目地址:https://github.com/xszyou/Fay

2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

4
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

5
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales