转 | 当 Vector Database 还不是主流时，这家公司（Zilliz）看见了未来

不久前，Zilliz 研发VP栾小凡受邀做客英文播客节目Innovator Coffee，深度分享了 Zilliz 的创业历程、Milvus 产品的构建逻辑与核心设计思路，以下为本次分享的重点内容摘编。

在生成式 AI 成为时代关键词之前，很少有人会把“向量数据库（Vector Database）”视为一个独立而重要的基础设施赛道。那时的主流讨论仍然围绕传统关系型数据库、搜索引擎或大数据处理框架展开，而向量搜索更多停留在研究论文或算法库层面。

但向量数据库并不是一项突然出现的新技术，而是数据表达方式演进的自然结果。早在 2017–2018 年，Zilliz 团队就已经观察到一个趋势：企业和开发者越来越希望理解和处理非结构化数据，包括文本、图像、音频、日志、行为轨迹等，但传统的关系型数据库与关键词搜索在语义层面存在天然局限。

而向量，作为一种将对象映射到高维空间的表示方式，使得“相似性”第一次可以被系统性地计算和检索。当embedding模型将文本、图片或其他对象转化为向量之后，数据库的能力就不再只是存储记录，而开始承担语义检索和近似理解的角色。

向量数据库也由此成为连接模型能力与真实数据世界之间的关键中间层。

那么它是如何演变的，从技术打磨到场景落地又有哪些关键的要素需要攻克，它的未来发展，又将走向何方？

01

从学术算法到工程系统：向量数据库的几条发展路径

回顾向量搜索的早期历史，栾小凡指出，这一领域最初主要由研究机构和大型科技公司推动。以 Meta（Facebook）研究团队推出的 FAISS 为代表，这一阶段的成果更多是算法库，而非完整的数据库系统。随后，微软、Spotify 等公司也在内部场景中发展了各自的向量搜索技术，但大多停留“工具层。

真正的分化发生在向量搜索开始走向工程化和产品化之后。

一部分公司选择以托管服务的方式，专注于与大模型协同工作的在线推理场景；另一部分则尝试将向量能力与数据湖、传统数据库融合，探索更广泛的企业级基础设施形态。在 栾小凡看来，这种多路径并行的本质，是新范式形成前的必经阶段。

此后，随着大模型技术逐渐走向成熟， 应用的落地加速，向量数据库的使用场景也发生了显著演进。最早期的典型用例集中在推荐系统和搜索引擎中，例如基于相似度的商品推荐、图像检索和内容匹配。但在过去两到三年中，RAG 架构迅速成为主流，使向量数据库转而承担起为模型提供“可信上下文”的角色，承担事实校验和知识召回需求。

在这一模式下，向量数据库不仅用于减少大模型幻觉，还能被用作智能体系统的长期记忆层，支持多轮推理、上下文压缩和多模态检索。

当谈到 Agent 系统的准确性时，栾小凡给出是“减少结构，增加智能。”在他看来，过度依赖预定义流程和严格标签，反而会限制模型的推理能力。随着模型能力提升，Agent 更适合在相对自由的上下文中，自主决定如何检索、组合和推理信息。

其次，数据治理的重要性被反复强调。向量数据库并非魔法，它放大的是数据质量本身。高质量、场景相关、经过整理和验证的数据，才是提升准确性的根本。最后，他建议开发者保持持续评估的习惯，嵌入模型、重排序模型和搜索算法的演进速度极快，半年不更新，往往就意味着落后。

栾小凡特别提到，随着多模态模型的发展，向量数据库不仅能够服务于模型的落地，做RAG与Agent 的短期与长期记忆管理；也能加速模型的训练与构建，比如帮助AI公司的infra团队做训练数据清洗、去重和精细化筛选（以上能力的本质，都是对内容多相似性语义检测与召回）。

长期来看，向量数据库的这种能力，甚至能与数据湖结合，形成所谓的“Vector Lake”新架构，用于连接批处理数据与在线推理系统。

而向量数据库的未来，也将不只是服务推理，而是贯穿模型训练、推理和长期数据治理的全生命周期。

02

在尚未成为主流之前，如何从噪音中找到了向量数据库这个信号

栾小凡的技术生涯始于传统数据库世界。他和公司创始人星爵都曾长期从事交易型数据库相关工作，对结构化数据、性能优化和系统稳定性有着深刻理解。

正因如此，当他们在 2017–2018 年观察到非结构化数据的快速增长时，他们职业生涯所面临的问题开始显得格外尖锐：图像、文本、音频等数据正在成为主流，但传统数据库和关键词搜索在语义理解层面几乎无能为力。而向量，也开始显露出其作为“下一代数据表示形式”的潜力。

他们究竟要不要抓住这次机会？

在访谈中，栾小凡回忆，Zilliz成立最初并不是一开始就决定做向量数据库。团队最早尝试的是 GPU 加速数据库，希望通过硬件加速解决大规模数据处理问题。然而，现实很快给出了反馈：GPU 在当时的成本结构下，很难形成足够广泛的产品市场匹配。

在不断试错的过程中，他们注意到一个被忽视的需求——用户希望在图像和非结构化数据上进行相似度搜索，而现有解决方案只停留在算法库层面，缺乏真正可规模化、可运维的数据库形态。

这成为他们转向 vector database 的关键转折点。与其说这是一次追逐风口的决定，不如说是一次基于数据库工程直觉的判断：如果AI会落地千行百业，而向量搜索会成为 AI 系统的核心能力，那么它迟早需要一套真正的基础设施来承载，而不仅仅是零散的算法调用。

从历史角度看，向量数据库的发展路径也印证了这一判断。早期的向量搜索主要来自学术界和大型科技公司的研究团队，例如 Meta（Facebook）推出的 FAISS，Microsoft、Spotify 等公司也各自贡献了相似的向量搜索库。这些工具在性能上极具价值，但它们本质上仍是“库（library）”，而不是数据库。开发者需要自行解决数据管理、扩展性、稳定性和运维等问题。

Zilliz 推出的 Milvus，正是在这一背景下出现的。它试图回答一个更工程化的问题：如果向量搜索成为 AI 应用的底层能力，那么它是否可以像关系型数据库一样，为市场提供一个标准化、分布式、可扩展的系统形态？

正因如此，Milvus 很早就选择了开源路径，并把可扩展性和稳定性作为长期核心目标。

这一选择在早期并不轻松。栾小凡在访谈中坦言，向量数据库并不是一个一开始就被市场理解的概念，甚至“vector database”这个定义本身，也在过去六年中也发生了显著变化。但他们选择坚持，是因为数据库领域的经验告诉他们：真正有价值的基础设施，往往需要在市场尚未完全成型时，就开始长期投入。

尽管过程需要漫长的时间煎熬（团队从2018年前后决定投入，大模型爆发则要等到2023年）。

六年中，几乎每天他醒来都会问自己同一个问题：我们是不是还要继续做这件事？要不要转向别的方向？因为市场变化实在太快了，机会也太多了。两年前，他们认真讨论过是否应该转型为一家搜索公司，只提供搜索 API，而不是继续深耕底层基础设施；去年，他们又花了很多时间思考，要不要做成一个 agent 平台，帮助开发者更容易地构建智能代理；甚至今年，他脑子里也不断冒出新的想法，如果不做向量数据库，他可能会去做一个 agent 的 sandbox，让它们在更安全、更高效的环境中运行。

不过，随着大模型的加速落地，向量数据库很快成为企业AI架构（RAG、agent）以及非结构化数据处理（多模态数据检索、训练数据去重等）中的关键组件。向量数据库的价值，也从简单的“快”转向“准”和“可规模化”，同时兼顾成本、数据治理和安全性。

要做好这一件事，就已经需要付出足够的耐力与时间精力投入。

03

稳定性才是向量数据库最大的“美德”

从技术角度来说，栾小凡认为从做向量搜索，到向量数据库成为企业的infra设施，中间真正最难的其实是稳定性。

向量搜索本身并不是什么全新的概念，借助现有的开源工具，很多团队在六到十二个月内就可以搭建出一个向量数据库的原型。

但“稳定性并不是靠完成一件“大事”就能显著提升的东西。你必须完成成百上千个微小的改进，每一个细节只是系统中的一小部分，但当它们累积起来，才会体现在整体客户体验的质的飞跃上。

这和性能优化很不一样。性能提升往往是可感知的，比如做三个月 benchmark，就能看到 20% 或 30% 的提升，这当然令人兴奋。但稳定性更像是，你今天做了一件正确的事情，可能只会让 SLA 提升 0.1%，几乎感觉不到变化。

然而，只有不断重复这样的过程，持续尝试不同的策略，并且长期保持耐心和专注，稳定性才会真正建立起来。这是一条很慢、也很难走的路。

04

关于对开源的看法

在过去一两年里，除了持续做工程和产品之外，栾小凡花费最多精力思考的，其实是一个长期存在但并不容易解决的问题：如何同时“戴好两顶帽子”。

一方面，你希望拥有一个健康、活跃、持续运转的开源社区；另一方面，作为一家商业公司，你又必须面对现实的收入目标和业务增长压力，如何在这两者之间做取舍和权衡，是一件非常困难的事情。

最近几年，这个话题在行业里变得尤为热门。栾小凡已经看到一些公司选择把自己的开源项目直接转入“维护模式”，这背后其实反映了一个现实问题：在某些情况下，开源模式反而可能成为商业成功的阻碍。

首先要明确的一点是：选择开源除了是技术理念使然，同时也是一种 go-to-market 策略。对一个商业化组织来说，开源更像是一种“免费试用”，或者是一种让更多人认识、了解他们产品的方式。因为对于一家初创公司而言，获得早期用户并不容易，当然你可以通过多种方式实现——比如拿下一个极具代表性的灯塔客户，或者像一些擅长市场营销的公司那样，通过一条视频迅速获得大量曝光，或者在社交媒体上持续输出内容。但作为一家以工程师为核心的公司，这些并不是Zilliz最擅长的路径。

因此，他们选择把重心放在 GitHub 上，通过开源项目让更多开发者真正去使用、去体验Zilliz的产品Milvus。过程中，用户的反馈，也会带动产品的能力建设升级，最后形成开源-用户反馈-产品优化-社区回馈的良性循环。

基于开源产品的用户口碑，现在的Zilliz 其商业化产品Zilliz Cloud大约 80% 的客户最终都是从开源Milvus用户转化而来。

除此之外，开源本身也是一种极其有效的信任建立机制。用户先成为你的开源用户，长期使用之后，自然会更愿意与你建立更深层次的商业合作关系。

但转化并不是自然而然发生的。首先，这个商业化产品必须具备足够深的技术和产品能力，不能只是一个“很薄”的商业层。必须在开源版本之外，持续为用户提供真正有价值的东西。

对于很多基础设施公司来说，这个价值可能体现在管理控制台或运维能力上，Zilliz也不例外。

但对Zilliz而言，仅仅靠这些是远远不够的。

一个极易被忽视的关键事实是：不少用户从开源版本迁移至商业版本后，整体成本反而实现了下降。作为新一代基础设施，向量数据库的技术发展始终与先进索引、量化技术及存储方案的迭代同频演进；依托这些技术突破，在 Milvus 不同版本中处理同等规模的数据，其存储与计算成本会遵循类似半导体摩尔定律的规律，大约一年时间即可实现成本减半。而借助Zilliz Cloud，这种升级可以变得高效且丝滑。

05

与其他向量数据库玩家相比，Zilliz的核心优势在哪里

当被问及竞争格局时，栾小凡承认，随着 AI 热潮的到来，向量数据库市场迅速拥挤，既有托管型服务，也有轻量级插件方案——Zilliz多了很多竞争对手。

但他认为，真正的分水岭不在功能列表，而在工程深度。

Zilliz的优势，首先体现在可扩展性和稳定性上。系统从一开始就以分布式架构和 Kubernetes 原生设计为核心，能够在数据规模增长数十倍的情况下保持稳定运行。其次，在成本控制方面，系统通过多层索引策略，将内存、磁盘和对象存储结合使用，使企业在性能与成本之间拥有更多弹性选择。

更重要的是企业级能力。与许多偏 AI 背景的团队不同，Zilliz在权限控制、数据隔离、BYOC（Bring Your Own Cloud）、加密和合规治理方面投入了大量工程资源，使向量数据库能够真正进入金融、医疗和大型企业场景，而不仅仅停留在开发者试验阶段。

过去，许多团队在早期都会低估向量数据库的复杂性。基于开源算法，工程师在六到十二个月内就能搭建一个可用的向量检索系统，但随着数据规模扩大、并发请求增加以及 AI 应用进入真实生产环境，问题会迅速显现，稳定性、可扩展性和运维成本开始成为持续的负担。

公司根本不希望把时间和精力花在管理复杂的基础设施上，尤其是像向量搜索这样本身就高度专业化的领域。

这恰恰是Zilliz的价值所在，把基础设施层的复杂性吸收掉，让客户专注于真正的业务和产品。这种“专业分工”的趋势，在当前阶段变得越来越明显，也成为专业向量数据库公司最大的增长空间。

展望未来三到五年，栾小凡并不回避行业的残酷现实。展望未来三到五年，栾小凡对 AI 基础设施的判断相对冷静。他认为，行业仍将保持高速增长，但真正的挑战将从能不能做，转向能不能长期稳定地做。随着模型规模和使用频率的提升，数据量将呈指数级增长，而如何在成本、性能和安全之间取得平衡，将决定哪些公司能够真正存活下来。

在 AI 应用持续生成海量数据的背景下，如何在保证准确性的同时，将成本降低一个数量级，将成为新的分水岭。而这，也正是基础设施公司真正建立护城河的地方。

文章来自于“Zilliz”，作者 “Zilliz”。