基于多模态模型的中草药图像识别的方法、装置及设备

本申请涉及一种基于多模态模型的中草药图像识别的方法、装置及设备，包括根据数据采集模块获取的图像数据，使用标注数据模块进行预标注，根据标注的图像数据，使用模型online训练模块在线训练图像类任务模型和多模态任务模型，通过模型训练&评估模块测试模型训练结果并输出模型文件，根据输出的模型文件，通过模型封装和部署模块转换成可部署的模型结构和参数文件。本申请将在中医药特定场景下图像识别的问题，及繁琐的中草药介绍文本和中草药图像模态对齐过程简化，在线训练多模态模型并查看效果，构建中草药图像数据标注，大大提高了传统训练模型效率和识别精准率，同时为其它中草药图像识别&多模态模型部署等同类工作提供了新的平台解决方案。