传统车企如何打磨智能化,大模型将为车企带来多少助力?
近日,长城汽车原沙龙品牌智能化中心负责人、智能化研发总监杨继峰以TCAL(Technology Center Al Lab,简称「AI Lab」)负责人的新身份亮相。
知情人士透露,长城汽车的AI Lab人员规模为数百级。
与杨继峰一起露面的,还有长城汽车智能化副总裁吴会肖、智能座舱产品总监佘士东和智能驾驶高级总监姜海鹏等人,共同为长城技术品牌「咖啡智能」站台。
「咖啡」是长城体系坦克、欧拉、哈弗和魏牌等品牌的开发平台「基底」,也浓缩了长城在智舱、智驾、电子电气架构以及云端等多领域的开发积累。
为何长城有如此底气?
长城Coffee Al体系正全面利用AI大模型为自身赋能。
Coffee Pilot引入Transformer,走重感知轻地图路线,将智能驾驶感知大模型、DriveGPT认知大模型和3DNerF云端重建大模型相结合。
通过构建算力基座,提升算法能力和数据能力,长城从感知、认知和3D场景构建三个维度,加快高速NOH普及和城市NOH的量产。
长城公布了一部分基于大模型的技术进展:
在整个智驾方案上,长城将基于数据智能、感知智能和认知智能的研发体系,布局低、中、高算力平台,根据不同场景下的用户需求打造产品矩阵。
同时将Coffee Al与智能驾驶研发体系融合,实现智能进出匝道、避让汇入口、变道保护、分心疲劳监测、避让大车和识别易混分叉路口等功能。
大模型给智能驾驶带来的变革才刚刚开始。城市NOH也正面临范式拐点,重感知+轻地图+大模型范式虽然交付难度更大,但无疑会带来更快的迭代速度。
长城AI Lab负责人杨继峰
AI时代,大模型也给座舱带来体验的大幅提升。
比如过去智能座舱的醒神模式很难被确切地定义,通过大模型,长城Coffee Al选择用多模态算法框架去解决该问题:
驾驶疲劳监测系统使用VIMS特征检测驾驶员疲劳特征的同时,感知车辆状态,综合多种外部因素结合置信度判断驾驶员最终状态,车机及时作出相应提醒。
长城在大模型范式下将空间感知任务进行了升级,并将其命名为「SpaceGPT-空间感知大模型」。
SpaceGPT-空间感知大模型,可为不同的用车场景提供AI助力,例如:
除此以外,SpaceGPT-空间感知大模型还可作为语音助手、AI特定助手、灵魂画手、懂车专家、咨询专家等。
当作为语音助手时,大模型将为语音算法提供新范式,为ASR、NLU、NLG等语音算法模型进行范式升级,形成的语音自动标注大模型可建立语音数据闭环机制,实现语音回流数据的自动标注,降低语音标注成本,提高语音标注效率。
从座舱和智驾的应用出发,大模型对车企的冲击是全面且深刻的,长城认为,未来还有很多问题都可用AI解决:
通过大模型加知识库的方式,还可向用户提供精准的问答工具。
文章转载自”盖世大V说“,作者 Amy
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales