摘要
本申请实施例提供指令监督微调的自适应数据配比方法及装置,涉及人工智能技术领域。该方法对于参考语言模型,基于对于任务类型的基线权重区间进行至少一轮的参数搜索得到配比参数,根据每个任务类型的配比参数得到参考语言模型的任务配比,对参考语言模型的模型参数量和对应的任务配比进行模型拟合得到比例预测模型,基于目标大语言模型的模型参数量,利用比例预测模型进行预测得到目标任务配比。通过对多个小参数量的模型进行任务配比的最优搜索,生成多组模型参数量与任务配比的数据对,以此训练比例预测模型,对大规模参数的目标大语言模型进行自动预测获得可靠性较高的目标任务比例,显著提升指令监督微调的性能和效率。