摘要
本发明公开了一种智能客服领域的多模态RAG系统快速构建方法,涉及智能客服技术领域,解决了目前基于纯大语言模型的RAG系统只能生成纯文本,无法理解并生成图片,无法很好的完成带图片的输出交互,导致在很多需要图文并茂的场景中具有很大局限性的技术问题;本发明将原始上下文语料,划分为正/负样本语料;将划分后的语料按预设比例与大语言模型的通用数据集混合,并对大语言模型进行训练优化,以及构建多模态数据库,根据用户的提问,从多模态数据库中提取对应的文档切片,并输入至大语言模型中,生成答案推送给用户;本发明提供了更加丰富和完整的输出,显著提升了用户体验和应用场景的广泛性。