
小模型也能玩转RAG!性能仅降1%,存储省75%,边缘设备轻松跑
小模型也能玩转RAG!性能仅降1%,存储省75%,边缘设备轻松跑检索增强生成(RAG)虽好,但一直面临着资源消耗大、部署复杂等技术壁垒。近日,香港大学黄超教授团队提出MiniRAG,成功将RAG技术的应用门槛降至1.5B参数规模,实现了算力需求的大幅降低。这一突破性成果不仅为边缘计算设备注入新活力,更开启了基于小模型轻量级RAG的探索。
来自主题: AI资讯
7354 点击 2025-01-26 12:21
检索增强生成(RAG)虽好,但一直面临着资源消耗大、部署复杂等技术壁垒。近日,香港大学黄超教授团队提出MiniRAG,成功将RAG技术的应用门槛降至1.5B参数规模,实现了算力需求的大幅降低。这一突破性成果不仅为边缘计算设备注入新活力,更开启了基于小模型轻量级RAG的探索。
还在为部署RAG系统的庞大体积和高性能门槛困扰吗?港大黄超教授团队最新推出的轻量级MiniRAG框架很好地解决了这一问题。通过优化架构设计,MiniRAG使得1.5B级别的小模型也能高效完成RAG任务,为端侧AI部署提供了更多可能性。