OpenAI推出SearchGPT没几天,开源版本也来了。
港中文MMLab、上海AI Lab、腾讯团队简易实现了Vision Search Assistant,模型设计简单,只要两张RTX3090就可复现。
Vision Search Assistant(VSA)以视觉语言模型(VLM)为基础,巧妙地将Web搜索能力融入其中,让VLM内部的知识得到实时更新,使其更加灵活和智能。
目前,VSA已经针对通用图像进行了实验,可视化和量化结果良好。但不同类别的图像各具特色,还可以针对不同种类的图像(比如表格、医学等)构建出更为特定的VSA应用。
更令人振奋的是,VSA的潜力并不仅限于图像处理。还有更广阔的可探索空间,比如视频、3D模型和声音等领域,期待能将多模态研究推向新的高度。
大型语言模型(LLM)的出现让人类可以利用模型的强大零样本问答能力来获取陌生知识。
在此基础上,检索增强生成(RAG)等技术进一步提高了LLM在知识密集型、开放域问答任务中的表现。然而,VLM在面对未见过的图像和新概念时,它们往往不能利用好来自互联网的最新多模态知识。
现有的 Web Agent主要依赖于对用户问题的检索,并总结检索返回的HTML文本内容,因此它们在处理涉及图像或其他视觉内容的任务时存在明显的局限性,即视觉信息被忽视或处理不充分。
为了解决这一问题,团队提出了Vision Search Assistant。Vision Search Assistant以VLM模型为基础,能够回答有关未见过的图像或新概念的问题,其行为类似人类在互联网上进行搜索并解决问题的过程,包括:
视觉内容描述模块被用来提取图像中对象级的描述和对象之间的相关性,其流程如下图所示。
首先利用开放域的检测模型来获取值得关注的图像区域。紧接着对每一个检测到的区域,使用VLM获取对象级的文本描述。
最后,为了更全面地表达视觉内容,利用VLM进一步关联不同的视觉区域以获得不同对象的更精确描述。
Web知识搜索的核心是名为“搜索链”的迭代算法,旨在获取相关视觉描述的综合性的Web知识,其流程如下图所示。
下图中比较了新事件(前两行)和新图像(后两行)的开放集问答结果。
将Vision Search Assistant和Qwen2-VL-72B以及InternVL2-76B进行了比较,不难发现,Vision Search Assistant 擅长生成更新、更准确、更详细的结果。
例如,在第一个样例中,Vision Search Assistant对2024年Tesla公司的情况进行了总结,而Qwen2-VL局限于2023年的信息,InternVL2明确表示无法提供该公司的实时情况。
在开放集问答评估中,总共通过10位人类专家进行了比较评估,评估内容涉及7月15日至9月25日期间从新闻中收集的100个图文对,涵盖新颖图像和事件的所有领域。
人类专家从真实性、相关性和支持性三个关键维度进行了评估。
如下图所示,与Perplexity.ai Pro和GPT-4-Web相比,Vision Search Assistant在所有三个维度上都表现出色。
在LLaVA W基准进行闭集评估,其中包含60个问题,涉及VLM在野外的对话、细节和推理能力。
使用GPT-4o(0806)模型进行评估,使用LLaVA-1.6-7B作为基线模型,该模型在两种模式下进行了评估:标准模式和使用简单Google图片搜索组件的“朴素搜索”模式。
此外还评估了LLaVA-1.6-7B的增强版本,该版本配备搜索链模块。
如下表所示,Vision Search Assistant在所有类别中均表现出最强的性能。具体而言,它在对话类别中获得了73.3%的得分,与LLaVA模型相比略有提升,提升幅度为+0.4%。在细节类别中,Vision Search Assistant以79.3%的得分脱颖而出,比表现最好的LLaVA变体高出 +2.8%。
在推理方面,VSA方法比表现最佳的LLaVA模型高出+10.8%。这表明Vision Search Assistant对视觉和文本搜索的高级集成极大地增强了其推理能力。
Vision Search Assistant的整体性能为84.9%,比基线模型提高+6.4%。这表明Vision Search Assistant在对话和推理任务中都表现出色,使其在野外问答能力方面具有明显优势。
论文:https://arxiv.org/abs/2410.21220
主页:https://cnzzx.github.io/VSA/
代码:https://github.com/cnzzx/VSA
文章来自于微信公众号“量子位”,作者“ VSA团队”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。
项目地址:https://github.com/InternLM/MindSearch
在线使用:https://mindsearch.openxlab.org.cn/
【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。
项目地址:https://github.com/miurla/morphic/tree/main
在线使用:https://www.morphic.sh/
【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。
在线使用:https://ffa.chat/