在AI技术广泛应用的企业场景中,提高检索准确度和效率已成为关键挑战。特别是面对生成式AI中的“幻觉”问题,企业急需有效解决方案。
Voyage AI,一家由华人创办的AI初创公司,正是为了应对这一问题而诞生。通过开发先进的嵌入和重新排序模型,Voyage AI为企业提供了高效的检索增强生成(RAG)解决方案,以应对复杂数据的检索需求。
Voyage AI近日宣布完成了2000万美元的A轮融资,由CRV领投,Wing VC、Snowflake和Databricks参与,总融资额已达2800万美元,这笔资金将助力公司进一步研发和完善其核心技术。
Voyage AI由清华大学毕业的马腾宇于2023年底创立,专注于开发顶尖的嵌入模型,并为企业提供定制化服务。
马腾宇在普林斯顿大学获得博士学位,师从著名理论计算机科学家Sanjeev Arora教授,随后加入斯坦福大学,专注于大规模嵌入模型和自然语言处理领域的研究。
Voyage AI的团队均为华人,汇集了来自斯坦福、麻省理工等顶尖学府的专家,既具备深厚的学术背景,也拥有丰富的AI实际应用经验。通过与Snowflake、Harvey、Databricks等知名企业的合作,他们推动了技术在真实商业场景中的落地,确保产品的实用性和市场适应性。
Voyage AI还得到了斯坦福人工智能实验室主任Christopher Manning和AI领域知名学者李飞飞等人的支持,他们作为学术顾问,为公司提供了宝贵的技术指导和学术洞见。
RAG(检索增强生成)技术通过将生成式AI与企业现有的知识库结合,利用检索到的相关数据辅助生成,从而减少错误信息的产生。
Voyage AI通过嵌入模型和重新排序器的结合,显著提升了RAG系统的整体效果,尤其在金融、法律和多语言应用等领域表现突出。
嵌入模型是RAG的核心,它将文本、文档等非结构化数据转化为向量表示,帮助AI更好地理解内容和上下文。例如,Voyage AI的嵌入模型能够识别同一词汇在不同语境下的不同含义,提高数据检索的准确性。以“银行”为例,无论是指“河岸”还是“金融机构”,嵌入模型都能生成不同的向量反映其特定的语境含义,使得AI在处理复杂查询时,能够返回更精确、更相关的结果。
Voyage AI采用创新的对比学习技术,使模型能在无大量标记数据的情况下,从数据中提取深层次语义信息,提高了处理复杂数据的准确性和鲁棒性,特别适用于企业非结构化数据处理。
Voyage AI近期发布的新一代嵌入模型voyage-3和voyage-3-lite,在多个关键技术指标上显著超越了市场主流产品。与OpenAI的嵌入模型相比,voyage-3在检索精度上提升了7.55%,并将成本降低了2.2倍。
voyage-3-lite则在检索准确性提升了3.82%,同时成本减少了6倍。这种高效的成本控制对于大规模企业应用来说尤其重要,因为它不仅提高了系统的可用性,还显著降低了运营成本。
除了嵌入模型,Voyage AI还推出了新型重排序模型,该模型在复杂查询的处理上表现尤为出色。新重排序模型在检索准确度上提升了13.89%和11.86%,通过优化搜索结果的排列方式,确保最相关的信息能够优先呈现给用户。
左图:不同嵌入模型在不同数据领域的 NDCG@10。右图:在 OpenAI 最新嵌入模型上使用时各种重新排序器的 NDCG@10。
这一创新对于企业级应用尤其关键,因为在大量数据查询中,信息的相关性决定了AI系统能否高效辅助决策。通过这些新型模型,Voyage AI帮助企业实现了更加精准的数据检索和分析,显著提升了AI系统的商业价值。
这些技术不仅解决了企业在大规模数据处理中的痛点,还为复杂应用场景中的AI系统提供了可靠的支持,尤其在对速度、成本和准确度要求高的行业,如金融、法律、医疗和多语言处理领域,Voyage AI的技术具有极大的应用潜力。
目前,Voyage AI通过与Snowflake、Harvey、Databricks等知名企业的合作,Voyage AI在实际应用场景中获得了宝贵反馈,这些反馈进一步帮助他们优化产品,确保模型在真实商业环境中保持高效性能。
文章来自于微信公众号“中鲸社”,作者“鲸瞳”
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI