ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
四家大模型顶流罕见同台:Scaling Law和AGI定义,都不是共识
7899点击    2024-06-16 11:47

AGI太遥远,只有模型降价是共识。


若是要形容2024年中国的AI行业,大概是这样一幅图景:


大部分企业已经翻过了技术黑箱的大山,走向了应用落地的原野。而AGI(通用人工智能)仍是挂在天边的一轮圆日,有待攫取。


2024年的智源大会上,代表“AGI攀登者”的四家大模型明星公司,在圆桌对谈给大家唱了一曲“难忘今宵”:


其中三家,是在2023年跻身独角兽俱乐部的大模型公司:智谱AI、百川智能和月之暗面。另一家发力做端侧轻量化模型的面壁智能,在一众Scaling Law信徒中又代表了另一种技术落地图景:小模型的潜力还远未被完全开发,应用落地需要便宜好用的小模型。


成立于2018年的智源研究院,可以说是中国AI领域的一面旗帜,在学界和工业界都享有盛誉。大模型浪潮兴起后,其每年举办的智源大会,更是被称为“AI届春晚”。


今年,智源的圆桌对谈,依然聊AGI。不过,温和的交流依然暗含刀光剑影。


比如关于Scaling Law(规模定律),这个在训练大模型中的第一性原理,至少在四位CEO中,还不是通往AGI的共识。


杨植麟依然是Scaling Law的坚定拥护者,在他看来,“大”依然是第一性原理,现在最大的问题是解决怎么取得原本稀缺或者不存在的数据,以及如何高效Scale,“Scaling会一直持续,只是Scale的方法会不断变化”。


但王小川则认为,光靠Scaling Law是不够的:Scaling Law只能无比逼近AGI,达到AGI还需要不同维度符号和连接的融合。


智谱AI CEO张鹏和面壁智能CEO李大海的观点,则更为保守。张鹏认为,Scaling Law肯定是AGI的基石,但是不是基石之一还是个问号。李大海则提出了一个假设:AI System 2(决策)的能力,需要依靠AI Agent去内化外部的一些能力。


不过,四人的共识是,对AGI的看法和探索路径,取决于如何定义AGI——而这在业界,目前依然是非共识。


当下,王小川和李大海已经为自己的AGI问道之路,设立了一个靶子:已经开始训练生命智能的王小川,将AGI对标为医生,理由是医学是智力密度最高的行业;“实用主义者”李大海,将边际成本的降低程度,作为AGI的评判维度,一旦模型应用成本降到了0,AGI也来了。


不过,张鹏和杨植麟,并不想把AGI定义得太清楚。张鹏认为不能框死AGI的探索路径,因为AGI是一个内涵外延不断演变的符号。在杨植麟看来,AGI的定义是重要的,但不是必须的,定义的价值在于,让社会对未来技术发展的方向有个更好的准备。


AGI终归遥远,一旦回到落地,共识很快形成。在大模型价格战打得火热的当下,四家企业的观点出奇地一致:降价是好事,意味着大模型能落地了。


智源大会圆桌论坛


以下为圆桌实录,经《智能涌现》整理编辑:


王仲远:感谢大家来到我们智源大会的现场。我们这个环节是对话,我们想讨论的是通往AGI之路。各位都是国内头部大模型公司的CEO,那我也想请教一下,各位是否相信大模型是通往 AGI 之路的一个基石?亦或是大家在实际的训练大模型的过程中发现它可能依然只是一个数据的压缩,那可能对于产业界是非常有价值的,但并不一定能够通往 AGI。我想听听各位的看法,植麟? 


杨植麟:对,我们比较相信大模型的第一性原理,就是通过不断地去提升模型的规模。就像仲远刚刚说的,它确实本质上是一个压缩,但压缩它确实是可以产生智能,然后随着不断地去规模化模型,不断地做更好地压缩,它能产生越来越多的智能。


月之暗面CEO杨植麟


当然,肯定在过程中也会有很多挑战,比如,可能最大的挑战就是有一些数据,可能并不一定有那么多,对吧?那在数据没有那么多的领域,或者假设你最后要做出来一个比人类更好的AI,那可能就根本不存在这样的数据。因为你现在所有的数据可能都是人产生的。所以我觉得,可能最大问题是怎么去解决这些比较稀缺,甚至可能不存在的数据。但是,我觉得规模化定律,或者说大模型,本身没有太本质的问题。 


王小川:对,我刚刚注意到的题就是说大模型是否是通向 AGI 的基石?我觉得用“基石”这个词是没有问题的。今天大家已经看到的Scaling Law 它带来的提升。但是我想说,它只是在逼近AGI,但是光靠 Scaling Law 我理解是不够的。所以在这里面的话,如果从第一性上讲,其实刚才亚勤也提到,需要有范式的改变,所以我是认为确实是这样。在今天,大家看到了 Scaling Law,这是第一件事。


今天的话我们还有一件事情,大家比较忽略的,其实是把语言放到大模型的体系里面,把语言变成了数学。我们将往前走,语言其实把符号主义跟连接主义之间产生了突破。除了规模以外,符号跟这种连接的融合,我觉得这是中间的一件事情。那么再往前走,还会有更多东西,必须产生范式改变的。比如说,大模型是靠数据驱动一种学习系统能做压缩,但是反而像之前类似于像 AlphaGo 那这样一种能够自我思考性的系统,那它也会有这样的作用。


所以,我的结论是,我们到了 AGI 的时代,这个时代里面我们是能够有足够多的科学家进来,更多的资源进来,能够走向AGI。但是光是以现在我们公开大家看到了scaling 这个事情是做不到 AGI 的。


张鹏:其实要说那个大模型,它是不是一个基石?首先我同意小川说的,它是肯定是基石,那是不是之一,这是另外一个问题,所以这个问题其实也涉及到说你怎么来定义AGI。其实刚才两位台上开复和亚勤也聊到 AGI 到底怎么定义,其实也跟这个定义有关。但是站在我们现在看到的角度来说,做人工智能的这波人还是挺实用主义的。所谓的实用主义就是说,咱们不看广告,看疗效,这东西它能不能解决问题?能不能真的像我们每个人心中定义的 AGI 那个路径上能够帮我们推进一步?大模型到目前为止还是很有效地在推进这件事情。


而且就像刚才小川说的一样,就是我们 Scaling Law 还是有效,还是在往前进,那至于说,它是不是能帮助我们推到那个顶峰上去,我们现在也找不到很确切的答案。但至少,我们相信它在这个阶段还是有效的,所以我认为它肯定是基石,至少是基石之一,这个没问题。


智谱AI CEO 张鹏


王仲远:好,谢谢张鹏。大海呢? 


李大海:我个人是数学专业毕业的,所以我可能会比较严谨地去表达。我认为大模型一定是通往 AGI 这个方向上,当前所有技术里面能走得最远的。它能不能够直接到达,我觉得现在还有很多未知的因素,包括刚才提到的定义是什么。但我想提一个可能大家没有提到的点,我觉得现在的大模型作为知识压缩主要是在处理人的大脑的系统1的工作。我认为这种慢思考的系统 2 的去做各种各样的推理,搜索空间里面去做搜索、组合,来完成任务这样的能力,我觉得是未来大模型可能要通过 agent 的技术外部化,或者把它内化为自己的能力,这是行业里面大家需要去探索的。 


王仲远:好,谢谢。其实确实有一个非常有意思的问题,我们总在讨论AGI,但好像连 AGI 的定义大家都没有广泛的共识。我不知道在各位的心里,到底什么样叫AGI?植麟怎么看? 


杨植麟:首先我觉得 AGI 的定义是重要的,但是它不一定需要在现在被非常精确地、有量化地定义,它可能是一个定性的,感性的东西。我觉得它最重要的作用,是能让社会或者说所有人,能够对于说接下来要发生什么事情有个准备,因为也许这个技术的节奏会非常快。那我们如果能够知道 AGI 它是什么样的,能够某种程度上去定义它,我觉得其实是可以更好地去准备这个事情,不管是对每个人的职业,还是说行业接下来可能会怎么发展。我觉得首先这个是重要的。


第二个,一定程度上在短期内可能需要一些量化,因为如果完全没有量化的话,你可能就没有办法去衡量你这个 AGI 的开发的进度是什么样的,所以可能从短期的角度来说, evaluation(评估) 本身也会是一个很难的问题,而且可能也是个很大的挑战。 


王仲远:所以植麟觉得我们需不需要有新的图灵测试?因为我们知道如果按照传统的图灵测试,应该已经被大模型给攻克了。 


杨植麟:对,传统的图灵测试可能在现在已经不完全适用了,因为即使它现在通过了图灵测试,但可能还有很多事情是人可以做得非常好,但是 AI 基本没法做的,现在还有大量这样的事情,所以我觉得这不是一个很容易的问题。你可能需要去对这里面评估的维度去做很多拆分。比如说你可能会有不同的能力,比如说知识能力、推理能力和创造的能力,它可能就是完全不一样,评估的方式会完全不一样。所以这也是现在很多人在关注的问题,我觉得是非常重要的。 


王仲远:好,谢谢植麟。小川,咱们上次在央视对话栏目里面,其实您也提到去年是智能纪元的“元年”,所以这智能纪元是 AGI 的纪元吗?亦或是您对 AGI 这块怎么理解啊?


王小川:我刚刚提到今天四个元年,是因为我们掌握了 Scaling Law,同时我们掌握了把语言变成数学,对吧?这是重大的一个起点。当机器掌握语言,我觉得这是翻天覆地的变化,因为大家以前都在讲图片识别很厉害,无人驾驶也很厉害。我可能调侃说狗都会,狗也可以自己导航,狗也会看图片,但是狗是不会语言的。


语言代表我们认知世界的一种范式, 我特别喜欢你这个问题,就是什么是 AGI 的定义。确实在全球很难有完整的共识。刚大海说他学数学的,我相信我们得通过一个变换,把它从一个空间换到另一个空间来做判断。换成另一种事物来判断,就跟咱们讲的保鲜变换一样的。那么在我看的话,我会用一个大家可以评测的这个指标来看,在我心中是接近等价的,是什么呢?是能不能够去造医生?


能不能造医生,为什么是这么奇怪的题目?之前我们在谈 AGI 的时候,一种首先把它当成工具在看。我认为这次 AGI 的第一个变化,它是能够开始有这种思考能力、学习能力、沟通能力、共情的能力,甚至有多模态的这种图片处理的这样能力。从他的学习范式的能力要求里面,我反而觉得我们就是像看人一样在看它的。


所以一种做法是说跟人是差异化看,但从今天大家共识的评价指标或者学习范式里面看,就是在向人学习,它数据来自于人类社会产生的这种数据,所以一直在评价里面,我是拿人的职业来跟他做比较,那医生在所有职业里面相对而言是智力密度相对最高的行业。既需要多模态,也需要少幻觉、有效记忆——看70 万字的病例,也有推理的能力,也有这种查文献的能力等等的。


所以我把医生跟 AGI 做比较时候的话,结果就问说,做到AGI,做到医生是否就算做到 AGI 了?然后我发现它肯定有很多种声音的,比如大家觉得医生只是vertical,垂直的领域,其实医生比这个低,那但是我说那你能造医生吗?太难了。这里面有太多太多的幻觉问题,有太多的推理能力,这种不可靠。那如果我们认为医生是比 AGI 低的,医生都造不了,咱们就别谈这 AGI 这事。但如果你觉得医生比 AGI 高,但是我们又讲,医生只是“造人”里的一种,所以在我的逻辑里面,医生跟 AGI 是可以基本画个等号的。


百川智能CEO王小川


那数学上有一个题目,刚刚大海也强调,就是自然数和偶数哪个多?我们第一反应是偶数比自然数少。对吧?偶数是自然数的子集,每两个数只有一个偶数。但数学上应该知道它们是一样多的,因为每一个自然数乘2 就是一个偶数,它们俩是可以映射的,自然数和偶数能做映射。今天我是把大模型,行业上能共识的能力都可以映射到医生的要求上去,是拿这个做标准,能造医生就是个AGI。 


王仲远:好,谢谢小川。大海,你被 cue 到了。作为数学家,你对这个 AGI 怎么理解? 


李大海:我会尝试从经济学的角度去定义AGI。我觉得从经济学的角度讲,如果我们去执行任何一个任务,它的边际成本都为零,这就是我们理想中的 AGI 了。但是这个又回到我刚刚说的,为什么我认为大模型能够走得最远?就是我相信大模型能够把这个边际成本一直往下降,可能会逼近于零。但是这个过程中就像植麟刚刚讲的,很多时候需要我们在各行各业的数据产生飞轮(效应),逐步地让模型持续训练、持续学习,然后让整体的成本降下去。其实我们去年看到行业里面,大家去做大模型的落地的时候,很多的场景都还需要做微调,这个边际成本就很高。


我们相信随着模型能力的提升,慢慢的从微调逐步的只需要做 prompt engineering,但慢慢地连 prompt engineering 都不需要做,模型直接就问你到底有什么需求,如果你讲不清楚,我来问你。通过这种方式,我相信未来的门槛会越来越低,成本会越来越低,低到接近于零的时候,我觉得 AGI 基本上就到来了啊。另外一方面,我额外还想补充一个观点,就是现在大家都在讲怎么把模型做大,其实刚才小川提到一个关键词叫智能密度。我们觉得大模型的智能密度也是个非常重要的事情,就当有一天我们到达到 AGI 的时候,我们还要做的一件事情是大模型的小型化。就是我如果用一个 10 万亿的参数的模型能做到AGI,我能不能把这个 10 万亿的参数把它降到1万亿,把它降到 1 千亿?这也是我觉得要持续去突破的事情。


面壁智能CEO李大海


王仲远:面壁智能,以及智谱跟智源都有非常深厚的渊源。当年面壁的刘俊老师,以及智谱的谭杰老师都是跟智源一起开始做我们的悟道系列的大模型。所以我也想请教一下张鹏,最开始咱们做悟道系列,再到后来咱们整个智谱系列这些大模型,你们最开始有考虑到它可能实现 AGI 吗?您对这个 AGI 是怎么理解的? 


张鹏:在我们看来, AGI 这件事要说它有一个很严格的,还是另外的什么东西,我更愿意相信它可能是我们的一种信念,是一个符号。它的内涵、外延是在不断地变化的。其实刚才提到了早期的定义 AI 的时候,我们说怎么来检测这个系统是否是一个 AI 系统?图灵测试。但现在大家觉得这个已经过时了,就是因为随着我们技术的不断演进,对事情的认知越来越多,越来越深,在同样的这三个字母所代表的含义实际上是不断地在变化,在这个动态的过程。所以刚才这里也讲,它是一个 balance 的事情。如果你把一件事情说得非常量化,非常清晰,内涵是什么?外延是什么?那这件事情that’s it,也就那样了,估计天花板在哪儿大家都能看得到了。现在的问题就在于,其实没有人能够把这些说清楚,反过头来讲是一件好事。就是说这个事情还有很多未知的空间等待我们去探索。


所以 AGI 对我们来说,你可以把它定义成我们的一个目标,对这件事情我们一直相信,当前我们的目标是以人为参照,让机器像人一样去思考,这就是我们的愿景,那这是第一步。当然刚才也提到,机器的能力远不止人的这个水平,那我们期待它可以出现超越人的能力,所以 AGI 里边我们会提到 Super Intelligence,下一步它是否能产生超过人的智能水平?那就是我们会不断地去更新迭代 AGI 的这个内涵和外延。 


王仲远:好好,谢谢。其实是植麟也跟智源有非常深厚的渊源,他当年也是我们悟道系列核心的技术骨干,也是我们智源的青年学者。今天大家反复提到的一个词 Scaling Law,我不知道植麟你对 Scaling Law 还是特别坚信吗?它会继续在未来的这些年起作用吗?


智源研究院院长王仲远vs杨植麟


杨植麟:对,就像我们刚刚说的,我觉得这个 Scaling Law 没有本质的问题。而且我觉得接下来 3 到 4 个数量级是非常确定的。这里面更重要的问题是,你怎么能够很高效地去scale?你应该 scale 什么东西?如果你只是像现在搞一堆 web text(网页的文本)去scale,就不一定是一个对的方向。因为这里面可能会遇到很多的挑战,比如我们刚说的这些推理能力,它不一定能够在这个过程中解决。所以本质上是怎么定义 Scaling Law?Scaling Law 是什么?如果就沿着现在的方法,去做 next token prediction,然后再去 scale 很多个数量级,用跟现在完全一样的数据分布,我觉得它的上限是很明显的。


但是 Scaling Law 本身其实并不受这个的限制。它讲的是我只要有更多的算力,更多的数据模型,参数变大,那我就能持续产生更多的智能。但这里面它并没有定义模型是什么样的,比如说它要多少个模态,它中间的数据是什么样的?它数据是生成出来的,还是用 web text;也没有规定 law function 是什么样的,不一定是 next token prediction,可能是别的 law function,所以我觉得 scaling loss 是会持续演进的第一性原理(first principle)。只是说在这个过程中,scale 的方法可能会发生很大的变化。包括大家一直在讲的世界模型,我觉得现在的大语言模型它是世界模型的一个特例,只是先把里面的一部分给做了,但是还能持续地去扩充这个训练的方式。所以我觉得 scaling 会持续,只是 scale 的方法会变化。 


王仲远:好,谢谢。小川你对 Scaling Law 未来几年是否会持续发挥作用怎么看? 


王小川:我觉得它到目前没有看到边界,在持续地发挥作用。所以我们看到美国埃隆·马斯克号称要买 30 万片B100、B200 来做。所以美国确实在这方面的认真程度,甚至包括投入程度是远高于中国的。在我看来,我们在这个 Scaling Law 之外一定要去寻找范式上新的转化。咱们主要讲数据、算法、算力。在 Scaling Law 上很明确,就是在美国后面跟进,不管是从我们的战略上,还是从我们信仰上,我认在 Scaling Law 之外都还有范式的变化,不只是简单地去 predict token 变成压缩模式,会走出这样的体系,才有机会走向 AGI,才有机会能跟最前沿的这代技术产生较量的能力。 


王仲远:张鹏,您呢? 


张鹏:其实我刚才在讲这个 AGI 的定义的时候,已经表达了相当的观点,就是 目前为止,Scaling Law 它本身是人类认识的所有的规律也好,物理定律也好,什么也好,其实都有可能有被推翻的一天,只是看它的有效期多长。所以我也同意,在前面加一个定语——到目前为止——我们还没有看到 Scaling Law 会失效的预兆。未来的相当一段时间之内,它仍然会有效。当然这个所谓的会有效也是一个动态的概念,就是说它本身所包含的事情和内涵,它会不断地去演进。


就像刚才小川说的,那 Scaling Law 早期关注的其实就是简单的模型的参数量规模,对吧?那现在已经慢慢扩展到数据量也很重要,数据质量也很重要,计算量就变成了一种计算质量,所以它的内涵其实也在慢慢地变化,随着大家对规律的认知越来越深,规律的本质越来越揭示,你掌握本质,你就能掌握通往未来的钥匙。


所以基于大家现在对本质的认识的深浅,我觉得至少在我看来,Scaling Law仍然还会起效,会是未来我们主力想要推进的方向。

 

王仲远:我想追问一个问题,其实我们现在也看到像 GPT-5 之前传过几次说要发布,但似乎一直都在推迟,那么所以张鹏您觉得如果我们从追逐GPT-4到要突破GPT-4,再往GPT-5的方向去发展,现在 Scaling Law是有出现边际效应吗? 


张鹏:我觉得因素可能有很多种,就拿我们自己来说,其实我们自己也在选择道路,不断地去遵循Scaling Law往前进。


举个例子,我们开始做这个悟道的时候就讨论过一个方案,就是说我们是否去做一个稠密的单体模型,还是去做一个 MoE 的稀疏的多体模型。其实这就是当时我们认为的如何去满足Scaling Law,或者去追寻Scaling Law的不同路径。


但是到发展到今天这个地步,你会发现其实这里边维度已经非常非常多,你可以在很多方面去做这样的事情。但反过来看这个问题的时候,你会发现其实这个难度、复杂度又上升了,不是简单地说追求参数量上去就行的,因为难度也变大了。


所以我想要实现GPT-5,或者下一代模型,里边要探索的技术可能性要还是非常非常多的。


王仲远:大海,面壁智能其实主要关注端侧的大模型,我不知道在轻量级的大模型上,您认为是Scaling Law也是有效的吗?


李大海:我认为Scaling Law是非常重要的。但是我也非常认同张鹏的意见,我们觉得Scaling Law其实是一个经验公式,是整个行业对于大模型这样一个复杂系统的观察以后的一个经验总结,这个经验总结会随着我们对模型训练工作过程中做的实验越来越多、认知越来越清晰,会有更加细的颗粒度的认知,比如说我们自己就会发现除了前面说的这些维度之外,在模型训练中的训练方法本身,对于Scaling Law对智能的影响也是比较显著相关的。


那这个显著的影响在我们固定住参数规模以后,其实就会变得非常重要,因为现在大家觉得参数规模是能够不断地往上scale,它是低垂的果实,只要扩就可以,所以就觉得没关系,我们先去做这个,先往上放大,但是一旦我们固定说我们要让端侧的芯片能够去支撑这个规模的模型,能够去做到足够好的智能,那么数据的质量、训练的方法这些都变得非常重要。 


王仲远:我们最近其实也关注到一个非常热门的新闻,就是关于开源社区的一件事情啊。那像 斯坦福的团队抄袭了MINI CPM,那我不知道大海对这个事件是怎么看的?


李大海:我们也完全没有想到我们的这个工作会以这种方式出圈,挺惶恐的。在这里我也想澄清一下,我们自己认为这其实是海外的个别学生组成的一个小团队做的个人行为,它不代表任何更大的,比如像斯坦福的行为。因为事件发生了以后,像斯坦福的系主任们,还有西方的一些这个同行其实也都表达了非常正的一些观点。


另外,因为这个事件,我们会更加坚定地相信开源的力量,其实这个事件也是靠开源的热心参与者发现的,并不是我们自己发现的。我们是5月20日把模型开源的,到了29号的时候,这几个本科小朋友做了一些非常简单的工作,在我们的模型上做了一个高斯叠加,然后就号称是自己的模型,当然他这个模型一下子变得很受欢迎,主要原因是因为他们宣称这个模型的多模态能力是跟GPT-4V和Gemini Ultra完全对标,但是参数只有后者的1%,并且还只需要 500 美金就可以训练出来。


前两项是真的,我们的模型真的是有这样的能力,但是5005美金是训练不出来的,还是要花很多的钱。


所以我们看到开源的力量是很强大的,这里面是多层次的,不光有做原创工作的人,还有很多的参与者,他们会在里面贡献需求、贡献反馈,这些也都是对开源这个生态非常重要的一个组成部分,让我们觉得持续地做开源的贡献能够给公司带来正向的收益。


王仲远:其实百川也把自己的Baichuan 1、Baichuan 2都对外开源了。当时百川也花了不少钱训练,把大模型对外开源的考量是什么?


王小川:其实当时我觉得是在市场上第一是有这样的需求。我们大概是在 9 月份就开源了第二版, 6 月份开了第一版。在去年的时候中国是快速入场做大模型,但事实上的话,不仅闭源跟美国是落后的,对标OpenAI,我们大家都没做到。开源上的话,当时Llama也开源了,所以在美国其实既有大的闭源生态,也有开源的这样一个生态。


中国在当时其实对大模型处于一种大家热情但惶恐的阶段,也需要快速入场。我们是一家把自己当时最好的模型开源的一个商业化的厂商,得到市场的很多的这个认可,也给我们很多的好的credits,对我们是挺大的鼓舞,不管最后人才的储备、资本的关注,也算是给行业交了一个投名状。


我觉得这是有历史上的这样一个意义。但当时还有一种心态,我们也看到模型会快速地进步,所以在当时我们觉得开源是不是把自己的这个底库拿出去,就没有竞争力?我觉得不会的,因为在模型生态里面,今天我们最好的可能在明天就是一个不够好的模型了,所以我们在商业竞争里面其实也没什么大的损失。因此我觉得这是既有贡献又没有降低我们竞争力的事情,既符合了市场预期,也给公司带来了声誉。


智源大会圆桌论坛


王仲远:随着大模型的发展,AI 安全问题也被不断地讨论。AI 安全,现在大模型的产业界怎么去看?是当下最急迫的问题吗?


杨植麟:我觉得 AI 安全非常重要,它可能不一定是当前最急迫的,但是一个我们需要提前去准备的事情。因为随着模型的进展,因为Scaling Law本身的发展是可能每1个月,可能就是算力乘10倍,那里面的智能会得到提升。我觉得这是一个逐渐去适应的过程,所以它不一定是说当前最大的矛盾,或者最重要的、最紧急的事情,但是它肯定是长期储备。


那这里面我觉得最重要的可能两个方面。一个是说模型可能会因用户他本身一些恶意的意图,导致它去做一些本来不应该做的事情,比如说像现在有这个研究去做这种 prompt injection,比如说你有 long context (长文本)能力,但是你可以在 prompt 里面去注入一些不太恰当的意图。这些我觉得需要去关注。


然后第二个是说你的模型本身它是不是会有自己的motivation(动机)?我觉得这个是跟训练方式相关的,包括你能不能在模型的底层注入类似于AI的宪法,去框定它的行为,就不管用户给什么样的指示,它都不会违背这个宪法,我觉得这个是很重要的。 


王小川:我觉得安全有不同的内涵和外延,我想提三个安全相关的事情。第一个事情是意识形态安全,作为一个中国主权的大模型,在意识形态上能跟国家发展、国家的意识形态保持一致,这是大家的一个基本功。每个模型有它的价值观,我们有我们价值观,意识形态安全是个底线,我们大家得把它给做好了。


第二个安全是大家空谈的比较远的安全,比如这个模型会不会把人类毁灭了,然后机器掌握世界了?我觉得不会发生。


但是至于这个模型是否比人更聪明,能够取代人做事情,我觉得这是个值得鼓励的一件事情。因为在人类文明里,每个人都知道生孩子,然后发展技术去延续我们的生命和延续我们的文明,这才是重要的事情。每个人都会死亡,我觉得大家今天不回避这个问题,所以技术能够跟我们一块去拓展人类文明,我觉得这件事情是有意义的,并不是限制这件事。


所以在去年我下场的时候写了一封公开信,我讲 AGI帮助我们繁荣和延续人类文明,我把这个事情当成一个目标,所以AI要让文明能够更好地延续,而不是说只是让机器做我们的奴隶和工具。我觉得这一part在安全里面,我是以文明为标准来看待它。


第三个就是比较现实的安全。我刚才提到说AGI是医生,他们就说“哎呀好难啊”,如果连这个都搞不定,能力如此之弱,我们就不要想什么颠覆人类这么复杂的事。所以在现实里面,我觉得在近期还不存在安全问题。所以,在现实里面的安全我们就放在意识形态安全,在远期里面发展文明,当前你们还在努力把能力给提上去,还没碰到今天的人类文明安全的边界。


王仲远:好,谢谢小川。张鹏,您对AI 安全怎么看?


张鹏:我们智谱其实一直很注意这个相关的一些事情,然后尤其在 AI 安全方面,因为咱们应该前一段时间还签署了一个 a 前 AI 安全的这个前沿人工智能安全的承诺,是吧?对一个差承诺书当时什么样的考量?当时是应该是有 15 家这个企业,这个 AI 相关的一些企业,然后来自全球各地、各大洲,然后一起签署了这样一个负责任的 AI 的这样的一个承诺书。


其实我觉得可能安全其中的一小部分,就是我们说的“负责任的AI”,那负责任的 AI,这个事情,就比安全要更大一点,包括刚才小川想的这三个方面的安全一样。


还有更多的方面,就是我们如何来保证,努力让技术真的帮助人类、社会乃至整个地球,而不是说为恶。当然你很难保证没有人去拿这个事情去作恶,永远是防守比破坏要难,所以需要大家一起共同来努力。这个事情更重要的意义,并不是说现在能拿出多安全的技术方法,或者管理规定,约束大家不要去做这件事情,而是在于增强大家对这件事情的了解和统一认识。大家能够坐下来正面的面对这些问题,把这些问题摆到桌面上来。希望有更多的人参与到这件事情,一起讨论,那总有解决问题的办法。 


王仲远:大海,你对 AI 安全这块怎么看?


李大海:我比较同意前面各位老板说到的这个观点,现在这个阶段安全主要还是聚焦在基础安全跟内容安全这两个方向上。


我觉得未来的大模型,本质上是只读的,就是我们把模型训练好,权重是固定的,你的推理其实不会影响权重,你的权重都是在线下再去持续地阶段性训练的。有一天,当我们把模型部署到机器人,部署到终端上,它能够去动态地去更新自己的权重了以后,我觉得安全会变成一个非常非常重要的问题。


张鹏:好,谢谢大海。我们今天其实讨论了很多关于AGI,也讨论 AI 安全。在座的都是企业家,对于企业而言,虽然也很关注ROI,其实最近有好多的这个记者朋友也都在问我,关于最近的大模型的价格战怎么看?


我当时回复说,智源研究院本来就是全力开源,免费的给整个社区、产业界在使用。我想请教一下诸位,对于这个近期大模型的价格战的怎么看?大模型还是需要有非常持续地投入,还在研发的过程,价格战是更有利于大模型的普及,还是实际上过于激烈的价格战并不利于企业的发展? 


杨植麟:这是很好的问题。最终如果我们把时间线拉足够长的话,最终会回归价值本身。


我自己有三个判断:第一,我们看算力投入,投入在推理上的算力在某个时间点之后,应该是可以显著超过训练的算力的。我觉得这个是一个标志,就是价值开始得到释放,前面用来训练的这些这个成本可以很大程度上被覆盖。


第二,从 c 端来说,推理成本可能会显著低于获客成本,商业模式和以前不会有本质区别。


今天 AI 在人类的工作流程占比还是很低的,可能是1%。有了这两个东西之后,第三个因素是,也就是说,人做的事情要远远多于 AI 做的事情。所以我觉得最重要的第三个点是说 ,AI 本身做的事情比例,可能在会在某个时间点超过人做的事情。


到那个时候,就可能会产生新的商业模式,不像是今天在 b 端用 API 去打价格战,而是普惠的AI,根据产生的价值来分润。


王小川:我先说结论,价格战对于中国发展大模型,是特别好的事,我是积极看待的。


首先,价格战是好还是不好,得看是对单个的公司,还是对整个群体、整个市场。


价格战通常是市场行为,竞争导向,我觉得至少带来两个好的后果:第一,更多公司、更多人能用上大模型了。很多企业之前是不懂这个的,现在可以免费或者便宜的开始做POC(试点),使用大模型,让大模型迅速普及,不管是个人还是很多企业就入场了。


第二,我们可以减少很多中间环节的浪费。我观察到,之前大家在恐慌的时候,因为不知道大模型为何物,很多企业但凡有点技术能力,都说我自己要训大模型,买卡,跑来找我们联合训练。明明是消费者、使用方,但都想转型成为一个大模型的供给方,做行业大模型,这会带来很多人才、资金和社会资源的浪费。


但在价格战,很多企业就开始清醒了,我干嘛非得去做AI?我到底在干嘛?我的竞争优势在什么地方?他就会退回成为大模型的用户,消耗也会减少很多。没有价格战的时候,中国可能这个真的是这个上百上千个大模型在打,但其实我们不需要一千一万个大模型,如果市场分层能做好,企业做好自己,每家都能够受益,竞争力就能起来。 


王仲远:谢谢小川,非常鲜明的观点,我不知道张鹏赞同小川的观点吗?


智源研究院院长王仲远


张鹏:我基本上是赞同这个观点的。有人跑过来跟我们说,你们是这一轮价格战的发起方,我说这是子虚乌有。


在降价之前,我们秉持的就是:给用户带来最大的收益价值,用我们的技术、创新极低地降低大家使用技术成本,这是为了让技术能够更多普及,让更多人能够享受收益。


所以,在很长一段时间内,我们推出的这些模型价格都是行业极低的,那是因为技术能够确实能做到把成本释放出来,帮助大家把 ROI 算出大于1的数字。


当然,从宏观角度来讲,这对中国大模型产业肯定是有利的,有更多的人来使用大模型,会让大模型变成基础设施——就是非常便宜,随时就可以用,你不用去特别地计较在这个事情上投入多少,收益是什么。当真的有一天 AI 、大模型的能力变得像水电一样,企业可以有更好的发展态势。


这是我们一直在坚持做的事情。上个月20号,我们发的这个新模型,真的是把成本压到我们都不好意思跟大家报价的地步。以前大家报价都是1000 token多少钱是吧?几分钱,就没有比这个更小的单位了,人民币里就几厘,好像没法算了,那就把单位变成 100 万 token 多少钱,已经到了这样的一个地步了。


所以我是觉得这件事情对整体上大的是有好处,但是也要注意,不要过多地关注、宣扬这件事情。商业上,这件事情,肯定会牺牲企业的短期商业利益,这不是一个正常的商业逻辑,肯定是只能持续很短的时间,真正还回归这个最终的用户价值、生产力价值上。


王仲远:大海,咱们在端侧的大模型会面临价格战的困扰吗?


李大海:我们会看到端侧更早、更快落地的可能性。最近有一个机构做过一个调研,发现说全国 10 亿用户的手机的这个端侧的算力,差不多相当于 100 万片 H100,这是非常夸张数字。如果,这些不同的手机上的算力,能够被好好地利用起来,其实我们很多的应用就可以落地了。当然,现在的阶段,到未来,都需要端侧模型跟云侧模型好好的协同。


端侧有端侧的优势,它的优势是隐私性好、更可靠,但云上的模型肯定比端侧更强,所以怎么把端跟云协同好?这是我们跟所有其他的模型公司一起要去协作的事。


我也非常同意前面大家说的观点,我自己的看法是现在的价格战,多多少少还是有一些营销的成分在,但我相信未来一定会比现在这个还要便宜,并且大家都有利润,这才是健康的方式,并且这才真的能让千行百业的应用往下落地。


王仲远:好,谢谢大海。其实想问的问题还有特别的多,但因为时间的关系,所以可能没办法全部都问完。在座诸位的企业跟智源其实都有非常深厚的渊源和关系哈。最后也还是想请各位CEO聊聊,对于智源大会有没有什么样的寄语? 


杨植麟:我记得应该是我们 2020 年的时候,开始开发“智源·悟道”模型。智源至少是亚洲地区我觉得最早投入,而且是seriously 真的投入去做大模型的机构,这个是非常难得的,有非常领先想法。今天的转,整个视野也会更宽,不光是大语言模型,也做多模态、具身智能,智源大会也变成一个非常好的平台,能够让大家在上面交流,我们其实收益都很大。我也希望智源能够持续地成为全球领先的平台。 


王小川:其实智源应该叫中国大模型的“黄埔军校”,大模型的思潮、技术、资源都是从智源开始发展起来的。我上一家做的公司叫搜狗,比较早就和智源合作,搜狗搜索的数据也有用于发展大模型。到今天,中国大模型已经蓬勃发展了。


今天的智源有非常好的定位,因为咱们都是市场化的企业。在过程当中,企业既有技术的需求,也需要跟政府有连接,因此智源是处于中立的地位,有技术高度,同时又能得到政府信任,也是比较公平的智库的角色,这是有独特意义的,能够帮助我们更加快速健康的发展。


张鹏:我们和智源很熟悉了,这么多年了。智源从最早定位成NGO、一个偏研究新型研发机构,到今天真的是已经是国内甚至是国际上AI领域的一面旗帜,就像智源给“Flag”系列产品取的这个名字的本意一样,真的很好。我也可以看到,智源在这一次人工智能浪潮中,有非常大的、很好的宏观布局。我们也非常希望,跟智源能够长期在学术研究、落地应用、公共政策相关方面,继续保持合作啊。也祝愿这个智源大会越办越好。


李大海:大模型这个领域变化非常快,但里面确实有一些事情,是商业公司没有动力和资源去做的事,我们非常期待在智源的撮合跟带领下,能够搭建起更好的平台,把需要做好的事情能够一起协作好。也祝愿智源每年的年会,像我们 AI届的春晚一样,能够越办越好。


王仲远:谢谢各位 CEO 对于智源大会美好的祝愿,那因为时间的关系,我们今天对话的环节可能就到到此结束,谢谢大家。


文章来自于 “36Kr”,作者 “周鑫雨”


关键词: Scaling Law , AGI , Agent , AI
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

4
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0