ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
向量数据库王冠易主!零一万物新成果登顶权威榜单,比前SOTA领先最高286%
8912点击    2024-03-11 18:09

向量数据库排行榜的头号交椅,再次易主——


来自零一万物最新研发的高性能向量数据库笛卡尔(Descartes),登顶权威测评榜单。


在此之前,榜单里六个数据集的榜首分属于两家厂商,而笛卡尔的包揽结束了这种“分庭抗礼”的局面,成为了大一统的“新王”。



在权威的ANN-Benchmark榜单中(GitHub 4.4k星),笛卡尔直接包揽了六个数据集的第一名。


而且新前两名的差距也被大幅拉开——相比比前SOTA,笛卡尔的成绩最高提升了286%。


那么,笛卡尔在测试中到底交出了怎样的答卷呢?


包揽权威榜单六项第一


笛卡尔登上的ANN-Benchmarks榜单,包含了六大测试数据集,可以展示不同算法在不同数据集下的表现。


而笛卡尔参与全部六个数据集评测,它们主要考察在不同召回下的查询性能。


结果,笛卡尔(图中右上红色曲线)在这六个数据集的评测中,都取得了最好成绩。


下图为对数坐标系,横坐标代表召回,纵坐标代表QPS(每秒处理的请求数),越往右上角意味着算法性能越好。



而“吞吐量QPS” 是衡量信息检索系统(例如搜索引擎或数据库)查询处理能力的重要指标。


在原榜单TOP1基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过2倍以上,在gist-960-euclidean数据集维度更大幅领先榜单原TOP1 286%。



那么,在笛卡尔优异表现的背后,采用了哪些技术呢?


采用全栈向量技术增强性能


在零一万物团队看来,增强向量检索能力,就是在解决两个问题,一是减少考察的候选集,二是降低单个向量计算的复杂度


针对其中第一个问题,零一万物又采用了两大策略来解决。


首先是采用全导航图技术,构建全局多层缩略图,实现图上坐标系导航,既能保证精度,又能裁剪大量无关向量,解决了哈希、KD-Tree、VP-Tree等传统方式导航效果不够精确、裁剪力度不够的问题。



另一方面,是零一万物自研的自适应邻居选择策略。


它突破了以往仅依赖真实top-k或固定边选择策略的局限,使每个节点可以根据自身及邻居的分布特征,动态地选取最佳邻居边。


这种方式可以更快收敛接近目标向量,从而让RAG向量检索性能提高15%-30%。


而针对第二个问题,零一万物采取的是两级量化方案,从而降低计算复杂度。


同时,利用列式存储充分利用SIMD的并发能力,进一步发挥硬件能力,相比传统PQ查表,性能还能大幅提升到2-3倍。


除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。


最终,笛卡尔的检索精度超过了99%,而千万级数据库响应时间仅为毫秒量级。


零一万物表示,笛卡尔向量数据库将用在近期即将正式亮相的AI产品中,未来也将结合工具提供给开发者。


大模型重要的基础设施


事实上,以笛卡尔为代表,向量数据库在整个大模型行业中,本就是一项热门技术。


它是检索增强生成(RAG)技术的核心,用来存储、管理、查询和检索向量化的非结构化数据


换言之,也就是大模型形成“长期记忆”的关键,因此也被称为“大模型的海马体”。


除了记忆能力,向量数据库还解决了大模型实时信息更新的问题,还能提高推理效率并降低幻觉,同时在隐私数据不能用于训练时担任信息传递载体……



作为大模型基础设施,无论是在大厂还是初创公司,向量数据库都是一个热门的研究方向。


Google、微软、Meta等传统互联网大厂,都相继在其云服务平台中推出了自己的相关产品。


初创公司方面,Zilliz、Pinecone、Weaviate、Qdrant等公司也是异军突起。


比如成立于上海的Zilliz,其所研发的向量数据库在笛卡尔出现之前就是ANN-Benchmark榜上的王者。


阿里云、腾讯云、微软Azure、亚马逊AWS等国内外知名云服务厂商,都部署了Zilliz的产品。



而除了产业界,向量数据库在投资人眼中同样具有重要地位。


比如前面提到的Zilliz,总计融资金额就已经超过了1.1亿美元。


OpenAI的向量数据库合作方Pinecone,成立至今一共完成四轮融资,总金额更是达到了1.38亿美元。


而像Weaviate、Qdrant等小一些的创业公司,融资金额也都达到了数千万美元。



总之,随着大模型发展进入白热化阶段,零一万物在这时加入这场竞争,向量数据库之后格局会如何变化?值得期待。


文章来自于微信公众号“量子位”(ID: QbitAI),作者 “克雷西”



AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

2
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/