国内行业大模型的“江湖风云”,如今已悄然从纯算法网络PK转向了“实战派”较量。这不再是单一的技术炫技场,而是看谁能在现实世界中大展拳脚,舞出最炫的“应用落地”舞步,从真正意义上实现提效,创造出实实在在的社会价值。
9月20日,浩鲸科技·鲸智大模型发布会在云栖大会举行,其中,BI大模型受到行业广泛关注。据了解,基于鲸智BI大模型构建的鲸智ChatBI工具在中国信通院可信AI评估中,跨越四大智能领域门槛,通过20项能力测试,成为首批首个通过基于大模型的商业智能系统评估的产品,评级达业内最高4+级,彰显其综合能力与智能技术的领先地位。
浩鲸科技数据智能首席专家吴名朝在发布会现场称,BI场景拥抱大模型过程中,在知识构建、问数准确、模型泛化等层面其实还存在很多技术挑战。
随着数字化转型的持续推进,企业面临数据量与业务复杂度双重增长的挑战。数据架构需升级以支持高效决策,并应对跨部门、跨流程、跨系统的复杂数据分析需求,这要求分析人员具备高阶数据分析能力,提供整合的数据分析、商业智能及机器学习解决方案,确保各类数据需求获得统一、流畅的体验。
传统的解决方法是建立端到端的Text2SQL模型,通过语义理解用户的数据请求,通过模型翻译成可执行的SQL语句输出所需数据。然而,这一方式虽有所成效,却也暴露出显著局限:
为解决上述问题,浩鲸科技积极探索大模型技术与数据分析工程化的深度融合。通过结合大模型强大的自然语言理解能力和BI领域多年的经验积累,实现对话式的数据查询与快速分析,降低用户获取数据、理解数据的门槛。用户只需简单表述其需求,系统便能迅速生成专业且美观的数据图表。
据吴名朝介绍,浩鲸科技鲸智ChatBI围绕“取数、看数、用数”全分析流程,打造智能意图识别、智能图表生成、智能数据推荐、智能数据洞察等能力,帮助用户建设易用的数据分析“副驾”,让企业用户可以像聊天一样只需一句话提问,即可轻松地获取所需的数据分析结果,无需编写复杂的查询语句。
从BI大模型的技术实现上看,基于语义理解的SQL生成任务需要精准理解用户查询的指标和相关维度。为了增强问数服务层的数据精度与效能,浩鲸科技的BI大模型团队聚焦于构建一套全面的BI知识数据管理体系。
该体系深刻涵盖了业务术语、同义词汇、原子术语、关键指标、多维数据以及库表模型等核心要素的精细化管理。这一举措旨在通过深化行业知识的嵌入,弥补基础大模型在垂直行业的知识短板,以及促进上下文间精确而紧密的互联,为大数据分析与用户决策提供更加坚实的信息基石。
通过整理并优化行业专属术语库,确保每一个业务概念都能得到准确表达。同时,建立同义词语数据管理系统,以解决自然语言处理中的语义模糊问题,使模型能够灵活应对多样化的语言表述。此外,针对关键性能指标和多维度数据的精细化管理,浩鲸科技构建了一套高效的指标与维度数据管理体系,助力用户深入挖掘数据价值,发现潜在趋势与规律。
更为关键的是,通过库表模型数据管理的实施,为大模型注入了强大的结构化数据支持,这不仅增强了模型对于复杂数据关系的理解能力,还赋予了其基于先验知识的推理与推断能力。这一过程实现了知识数据与大模型的深度融合与相互促进,使得机器能够更加精准地把握人类语言的深层含义,并在实际应用中展现出更高的精准度与鲁棒性。
在BI问数的业务分析过程中,经常需要精确判断用户提及的指标是否涉及多个。面对用户描述模糊、意图表达不够明确的情况,特别是当提问中包含了复杂的多主语、多层定语等结构时,通常需要先将这些提问细致拆解,随后进行准确的识别与合理的组合,以确保能够准确捕捉到用户实际想要分析的所有指标。处理用户查询时识别和处理多指标的难点主要体现在以下几个方面:
与许多开源方案相比,浩鲸科技鲸智BI大模型进一步采用了知识召回模块和轻度弱化Text2SQL的整体架构。旨在通过构建一系列高精度、高容错的RAG组件,降低大模型在垂直领域下实现复杂场景的难度,并最大程度地优化了Text2SQL的幻觉问题:
在BI问数的实践中,查询信息数据往往分布在多个维度表中,每个维度表都包含了描述数据的不同统计粒度或特有属性。
浩鲸科技首创融合虚拟视图技术,基于BI问数场景独有的数据分布特性,通过智能化方法整合查询过程中涉及的各类字段,包括但不限于维度字段、业务指标、度量值以及查询条件等,构建出一系列针对特定查询需求的临时视图作为大模型推理基础依据。
这种“按需构建”的视图策略,使大模型推理信息中仅包含查询所必需的字段,不仅大幅减少了数据处理过程中的冗余信息,还提高了大模型执行效率和精确度。
浩鲸科技BI大模型聚焦于为特定业务领域量身打造并优化SQL生成模型,通过深度融合行业特定的数据库架构(包括库表结构)、业务逻辑中的语义信息、以及庞大的数据量等核心要素,旨在输出针对该行业最为适配且高效的SQL查询语句。与广泛应用的Text2SQL模型形成鲜明对比,此方案巧妙地借助了大型预训练模型对复杂行业语言模式的强大理解能力,并进一步利用精细化的业务数据资源进行微调,从而显著提升模型在捕捉并转化业务需求为精确SQL语句方面的能力,成功将行业相关用语的SQL正确转换率推高至92%的卓越水平。
这一创新不仅代表了自然语言处理与BI数据库查询优化领域的深度融合与技术创新,更预示着在实际应用中,它能够极大地提升业务系统的数据处理效率与准确性,为企业级用户带来前所未有的数据洞察能力与业务决策支持,无疑是技术与应用双重价值并重的典范。
在发布会的最后,吴名朝表示,“BI大模型要完美的融入场景,还有很长的路要走,但我们愿意与行业伙伴、技术伙伴携手共进,克服更多复杂场景下的应用难题”。
文章来自于微信公众号“量子位”,作者“允中”
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner