一种基于集成化模型的增量式多模态专家大模型架构

本发明公开了一种基于集成化模型的增量式多模态专家大模型架构，该大模型架构基于多领域多模态的定制化内容生成大模型，在灵活扩展模态的同时具备稳定性好、准确性高的特点。该模型框架结合网状交互AIAgent框架，由决策大模型进行输入模态的决策分类，集合DiT、ViT、YOLOS等技术，实现不同模态任务的向量化统一、模态匹配以及目标检测。通过在教育、智慧城市、材料设计等不同领域中的不同场景适配，生成特定场景下的用户定制化内容，突破全领域通用的多模态大模型关键技术；通过国产化算力平台的适配，提升多模态大模型的安全性，同时推进国产化算力平台的发展。