多头注意力模型的转换方法、装置、存储介质及电子设备

本申请实施例提供了一种多头注意力模型的转换方法、装置、存储介质及电子设备，涉及计算机领域，其中，该方法包括：获取多头注意力模型，遍历至少一个注意力层，基于当前注意力层对应的第一查询权重矩阵、第一键权重矩阵和第一值权重矩阵，获取目标距离；基于当前注意力层对应的输出投影矩阵，获取每个注意力头各自对应的注意力权重；基于当前注意力层对应的全部目标距离，以及每个注意力头各自对应的注意力权重，对多个注意力头进行分组，得到当前注意力层对应的至少一个目标注意力头组；基于至少一个目标注意力头组，对目标多头注意力模型进行转换，得到目标模型。本申请实施例解决了相关技术中转换后的模型的推理输出准确性较低的问题。