针对多模态大模型的文本描述的调整方法、装置及设备

本申请涉及一种针对多模态大模型的文本描述的调整方法、装置及设备，该方法确定第一样本图像并将其第一文本描述设置为第二文本描述；在第一样本图像中添加图像触发器得到第二样本图像；通过各第三样本图像和各第二样本图像，对添加的图像触发器和上下文生成器的参数进行调整；将样本图像通过图像编码器得到图像特征向量，将经上下文生成器得到的预测文本和样本图像对应的文本描述通过文本编码器得到文本特征向量，通过图像特征向量和文本特征向量进行特征对齐，得到多模态大模型针的输出文本，基于图像特征向量与文本特征向量之间的相似度确定损失函数，尽量保持多模态大模型的参数不变，并对多模态大模型的输出文本进行特定调整，提高调整效率。