多模态样本修正方法、系统、机器可读存储介质和处理器
申请号:CN202510408505
申请日期:2025-04-02
公开号:CN120429810A
公开日期:2025-08-05
类型:发明专利
摘要
本发明实施例提供多模态样本修正方法、系统、机器可读存储介质和处理器,属于样本修正技术领域。所述多模态样本修正方法包括:获取大模型中的图像样本信息和文本样本信息;将所述图像样本信息和文本样本信息输入到模态编码器中,以得到图像样本特征和文本样本特征;将所述图像样本特征和文本样本特征输入到大语言模型骨干网络中,生成信号令牌;将所述信号令牌映射到固定维度向量空间,以得到图像线性函数和文本线性函数;根据获取到的图像线性函数和文本线性函数;将对齐的所述图像样本特征和文本样本特征进行深度融合;将所述融合特征送入到知识图谱引导的K‑adapter模型中。该多模态修正方法可以高效的对多模态数据进行融合并对多模态数据进行修正。
技术关键词
样本
文本
修正方法
图像
融合特征
队列
预训练模型
多模态
机器可读存储介质
线性
学生
网络
修正系统
图谱
知识蒸馏方法
令牌
编码器
修正技术
数据获取模块