ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
现有RAG框架非完全总结:7个GraphRAG+17个传统RAG框架归纳
7680点击    2024-11-21 09:50

今天是2024年11月18日,星期一,北京,天气晴。


我们先来回顾相关进展。


关于产业进展,代码辅助工具,PearAI ,https://trypear.ai/,提供了代码自动生成、智能代码预测、代码编辑聊天、代码记忆提升、智能代码搜索等功能,还内置了Perplexity、Memo等其他AI工具,这其实加剧了如cursor等同质产品的竞争。


此外,关于AI搜索进展,腾讯推出AI搜索ima,不知道跟元宝是啥关系,搜索得出的答案,除开全网信源,还打通微信公众号文章的生态,所以AI搜索一类的产品,本质上是内容生态跟搜索底子的pk。


所以,即便是外面的形势一直在变,但我们总会有一些东西是不变的,例如,有很多现成的开源工具依旧在推,例如,在开源项目 (https://www.wangrs.site/awesome-LLM-resourses) 中,我们可以看到一些较好的RAG框架,目前有的,其实远不止这些。


按照目前RAG发展的态势,可以进一步将现有RAG框架分为7个GraphRAG框架以及17个传统RAG框架,虽然很多是重复造轮子,但大家可以通过研读其实现代码,了解起内部实现机制,会很有收获。


一、十七个传统RAG框架


传统的RAG框架,指的是集chunk切分、向量化、存储、检索、生成等几个阶段于一体的RAG框架,其核心在于其中的不同策略适应,如文档处理、检索策略等,代表性的如RAGFlow(深度文档理解),也包括QAnything(重排rerank引入),也包括可高度配置的Dify等,大致雷同,下面归置17个:



1、AnythingLLM,具备完整的RAG(检索增强生成)和AI代理能力。地址:https://github.com/Mintplex-Labs/anything-llm


2、MaxKB,基于大型语言模型的知识库问答系统。即插即用,支持快速嵌入到第三方业务系统。地址:https://github.com/1Panel-dev/MaxKB


3、RAGFlow,一个基于深度文档理解的开源RAG(检索增强生成)引擎。地址:https://github.com/infiniflow/ragflow


4、Dify,一个开源的大型语言模型应用开发平台。Dify直观的界面结合了AI工作流、RAG流程、代理能力、模型管理、可观测性功能等,让您能快速从原型阶段过渡到生产阶段。地址:https://github.com/langgenius/dify


5、FastGPT,基于LLM构建的知识型平台,提供即开即用的数据加工和模型调用能力,允许通过流程可视化进行工作流编排。地址:https://github.com/labring/FastGPT


6、Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知识库问答。地址:https://github.com/chatchat-space/Langchain-Chatchat


7、QAnything,基于Anything的问题和答案。地址:https://github.com/netease-youdao/QAnything


8、Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等与文档(PDF、CSV等)和应用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。地址:https://github.com/QuivrHQ/quivr


9、RAG-GPT,RAG-GPT利用LLM和RAG技术,从用户自定义的知识库中学习,为广泛的查询提供上下文相关的答案,确保快速准确的信息检索。地址:https://github.com/open-kf/rag-gpt


10、Verba,由Weaviate驱动的检索增强生成(RAG)聊天机器人。地址:https://github.com/weaviate/Verba


11、FlashRAG,一个用于高效RAG研究的Python工具包。地址:https://github.com/RUC-NLPIR/FlashRAG


12、LightRAG,检索器-代理-生成器式的RAG框架。地址:https://github.com/SylphAI-Inc/LightRAG


13、kotaemon,一个开源的干净且可定制的RAG UI。地址:https://github.com/Cinnamon/kotaemon,


14、RAGapp,在企业中使用Agentic RAG的最简单方式。地址:https://github.com/ragapp/ragapp


15、TurboRAG,通过预计算的KV缓存加速检索增强生成,适用于分块文本。地址:https://github.com/MooreThreads/TurboRAG


16、TEN,实时多模态AI代理框架。地址:https://github.com/TEN-framework/ten_framework


17、AutoRAG,RAG AutoML工具。地址:https://github.com/Marker-Inc-Korea/AutoRAG


二、七个GraphRAG框架


GraphRAG框架这是流行于微软的GraphRAG,然后后续出现了很多轻量化的改进版本,如LightRAG、nano-GraphRAG,也有一些具有特色的版本,如KAG,其核心思想是在原先传统RAG的基础上,增加实体、社区、chunk之间的关联,或者原有KG的知识,从而提升召回和准确性。



这里总结7个:


1、LightRAG,简单快速的Graphrag检索增强生成。地址:https://github.com/HKUDS/LightRAG


2、GraphRAG-Ollama-UI,使用Ollama的GraphRAG,带有Gradio UI和额外功能。地址:https://github.com/severian42/GraphRAG-Ollama-UI


3、microsoft-GraphRAG,一个模块化的基于图的检索增强生成(RAG)系统。地址:https://github.com/microsoft/graphrag


4、nano-GraphRAG,一个简单、易于修改的GraphRAG实现。地址:https://github.com/gusye1234/nano-graphrag


5、KAG,基于OpenSPG引擎的知识增强生成框架,用于构建知识增强的严格决策制定和信息检索知识服务。地址:https://github.com/OpenSPG/KAG


6、Fast-GraphRAG,GraphRAG的轻量化版本。地址:https://github.com/circlemind-ai/fast-graphrag


7、Tiny-GraphRAG,一个小巧的GraphRAG实现。地址:https://github.com/limafang/tiny-graphrag


总结


本文主要对当前的RAG框架进行了介绍,尤其是对GraphRAG框架的整理,常总结,常会有很多收获。


参考文献


1、https://www.wangrs.site/awesome-LLM-resourses


文章来自于“老刘说NLP”,作者“刘焕勇”。


关键词: AI , RAG , GraphRAG , 搜索增强
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
知识库

【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。

项目地址:https://github.com/labring/FastGPT

4
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

5
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/