AI与搜索的形态是什么?如何复制董宇辉?怎么让模型为业务创造价值?——这篇原文近万字的分享实录,是李彦宏关于AI的最新思考。
《智能涌现》独家获悉,近日,百度召开2024年第三季度总监会,由百度集团创始人、董事长兼首席执行官李彦宏,以及百度内部总监级以上管理人员参加。
第三季度,也被称为百度的战略季。在李彦宏近万字的发言中,AI仍然是主角。以AI为轴心,李彦宏提及了搜索、数字人、智能体、大模型调用、萝卜快跑等业务的发展战略。
更重要的是,在AI资源紧缺、造血尚早的当下,百度也需要对业务的发展策略进行取舍。比如,李彦宏提到,百度不碰Sora类的视频生成,“10年、20年都可能难以商业化应用”。
他也指出,ToB业务尽量不碰吃力不讨好的项目制,尽量推出标准化产品。而文心一言改名后的ToC新搜索应用“文小言”,在推广上则不会像字节跳动的豆包、月之暗面的Kimi那样激进。
以下是《智能涌现》对百度2024年第三季度总监会李彦宏发言稿的整理和总结:
李彦宏认为,搜索的重构进度是比较慢的,但是他也理解该业务历史沿革周期较长,员工的观念难以在短时间内做出调整和转变。
目前,他认为搜索和大模型的结合,更多应该是在智能体上。在他看来,智能体现在还并不是一个行业的共识,只是百度下的一个赌注,“我们会认为智能体未来会是内容、服务、信息的新载体,甚至是主要的载体。“
但基于这样的假设,李彦宏认为,智能体跟之前的视频流或者图文流内容生态,都会面临同样的问题:你怎么把它分发出去?
问题的解法,在他看来,搜索还是一个主要通道,“因为智能体的形态对话流。如果是靠上下滑动的操作,是没有办法跟智能体去做结合和交互的。”
对于智能体的发展趋势,李彦宏判断,随着基础模型越来越强大,智能体的门槛会越来越低;但与此同时,智能体也可以把天花板拉得非常高,因为智能体的自我反思、进化、工具的使用等技术,都还非常早期,以及多智能体的群体协作,目前在产业上还没有看到实际的落地。
因此,李彦宏认为,若是深入到各个场景中去研判,智能体能构建的东西还很多,想象力仍然存在。
他还提到,智能体已经初步验证了商业价值,“今天我们有几十万家广告主,已经有上万家在尝试接入商业智能体,让它的广告效果更好、转化率更好,然后更好地去触达和沟通这些目标客户,并且是愿意真金白银地付费。”
基于对搜索的全新认知,李彦宏认为,搜索的重构和重建应该分成两步:
搜索做任何的改变,不仅要看对搜索场景下核心业务指标的影响,也要看对Feed这个核心业务指标的影响。
空框推荐(比如百度搜索框中会预置一些词和句子)的本质是一种推荐,因为这个词不是由用户来Input的,只有用推荐的理念来做才是正解。
AI需要跟移动生态做进一步融合,比如图像用户界面和自然语言界面怎么结合会更自然,这会是未来搜索发展的一个范式。
在李彦宏看来,PC和移动互联网时代的主流交互形式,是真人和真人的交互,代表产品是微信。
“我们现在很难想象虚拟人和虚拟人之间的交互有什么实际价值”,李彦宏提到,“所以我觉得价值还是落在真人和虚拟人的交互。”
但他也坦言,真人和虚拟人交互的Use Case,需要一定的摸索过程,这个过程会伴有阵痛——今年以来,百度就面临这样一种阵痛,因为虚拟人的效果开始没有那么好,此时往上强推,对用户体验是一种损害。
不过,李彦宏依然乐观地认为,技术的进步会倒逼产品的提升,未来虚拟人和真人之间的交互体验,甚至会超过真人和真人之间的交互。
具体到虚拟人的落地场景,李彦宏提到了直播。他认为,今年的电商直播是很主流的一个产品形态,他会思考董宇辉、辛巴这样的大V的特点和能力,能不能被数字人所复制,“这里面还是有一点想象空间的”。
李彦宏举了一个可以跑通的场景:百度电商直播有很大一部分已经是数字人直播,脚本完全由AI生成。现实中,有很多冗长的数据,真人主播不一定能完全记住,但是数字人在记忆上完全没有问题,甚至比真人更好。
除了AI脚本生成,李彦宏认为互动是另一个比较重要的场景,哪怕这一块对数字人来说还有难度。
在虚拟人上,李彦宏还看到了更多的产品形态。除了直播外,还有视频。他提到,数字人直播应该对标视频中的真人能力,而不是直播中的真人能力,因为数字人从理论上来讲,应该经过了大量的训练和打磨,就好比很多高质量的主流视频,也经过了一遍遍的打磨和重拍。
李彦宏认为,数字人直播和智能体是同根同源的,因为数字人直播有自己的知识库,和workflow这些基本要素。当智能体和多模态两块技术相结合,可能就是未来数字人的演进方向。
他提到,百度自2023年Q4起开始重视智能体的技术发展,今年智能体领域越来越火热。他观察到,OpenAI发布的o1模型是基于强化学习打造的,代表了OpenAI对智能体的期待,代表了训练范式从Transformer回归到强化学习,意味着需要设计很好的奖励模型。
目前对Scaling Law的质疑声越来越多,但李彦宏认为,中国市场环境中其实很多有价值的数据还没有被真正应用于训练,比如直播相关的数据和多模态数据。
在他看来,强化学习和Scaling Law一样面临着算力和数据的瓶颈,未来更多训练数据会靠合成数据来补充,而且是要靠对技术或者场景的具体理解来合成。
李彦宏判断,未来智能体能大幅提高人类的工作效率,但要释放智能体的潜力,还需要很多技巧。2023年3月,李彦宏曾提到50%的人类工作,到最后还是提示词工程。如今,他还是持相同的观点。打磨提示词,是释放智能体潜力的其中一个技巧。
再者,李彦宏提到,智能体上下文的语境中有个很重要的概念,叫“工作流”。工作流简单来讲就是“套路”,如果能把套路拆解清楚,那它就成了工作流,未来AI和机器就能把它自动化。
“今天世界上大部分方法论,其实还没有被数字化。”李彦宏认为,其中还有很大的价值释放。
李彦宏提到,现在大模型的调用有一些新的共识,比如通过大模型蒸馏出的小模型,在小模型当中是很有竞争力的,会比从头开始训的小模型能力更强。
当下,李彦宏比较重视API的调用量,因为调用量越大,反馈越多,就能去提升基础模型的能力,也代表市场对百度基础模型能力的认可。
同时,李彦宏也提到了一些非共识的判断:
他也强调,AGI是百度的长期目标。李彦宏认为,AGI不可能是半年、一年内就能实现的。
因此在发展过程中,百度需要有所取舍。李彦宏提到,短期内大模型还是要为场景去做优化,他也不追求一个统一的、通用的、在排行榜上能测出来第几名的大模型,而是想看看在应用场景中,百度的模型是不是超越了竞品,是不是真正实现了比真人做的东西更好、效率更高。
关于团队组织形式,他认为百度要内外部的协同,比如共享研发资源,共同承担研发成本,而且要确定在百度选定的核心场景中去领先,而不是追求一个完全通用和强大的版本。
李彦宏认为,萝卜快跑已经走在了世界的前列。
他提到,所谓的L4的技术路线一直都有争论:一条是所谓的特斯拉坚持的端到端纯视觉,另一条是基于规则的路线。在他看来,两条路线各有各的道理,主要看谁先跑出L4。
比如,今天特斯拉的方案,能不能在武汉实现完全无人化驾驶,或者两到三年后能不能超越分层的端到端。李彦宏认为,二三十年后是可以实现的,但是拐点在哪里,决定了百度现在采用什么技术路线去解决这个问题。
针对2024年7月萝卜快跑代替人类司机的话题,李彦宏也分享了两点思考:
李彦宏认为,搞创新就是要去替代那些最辛苦的工作,让劳动力转移到更不辛苦的工作上去。技术的进步,总体来说还是比较积极的。
李彦宏认为,数据飞轮是AI原生应用成功的充分必要条件,但这其中还有很多大家想不清楚的东西:
比如数据飞轮应该是基于特定领域的know-how或者数据来做的,但业务流程是不是真的在不断生产这个领域的知识和数据?这件事情你是不是有意识地去做?李彦宏认为,这方面的行业意识还没那么强。
同时,他认为数据飞轮越简单越好。因为节点越多,转起来越慢、越复杂,每个飞轮的规模也不大。所以李彦宏希望设计的少就是多,简单就是复杂。
李彦宏认为,目前百度的资源主要聚焦在让长板更长。至于补短板的时间点,就是当不补短板,长板就成不了的时候。
在他看来,目前百度的资源分配重点有以下几块:
其中,李彦宏特别提到了对于ACG(智能云事业群组)的规划:
像Comate这样的标准化产品,虽然现在还卖不了多少钱,不够有竞争力,但李彦宏觉得没关系,这种产品的起点比较低也是可以包容的,因为只要持续的投入,把它的门槛提高,拉大跟竞品的差距,未来还是一个好的方向。
最后,李彦宏提到了战略取舍,也是对总监会内容的一个总结。首先是四个“取”:
最后是三点“舍”:
文章来自于“周鑫雨”,作者“周鑫雨”。
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,
“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。
项目地址:https://github.com/xszyou/Fay
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales