一种利用在线同步策略改进的大模型偏好对齐方法

本发明提出一种利用在线同步策略改进的大模型偏好对齐方法，基于同步策略优化与在线学习的方法，提出了一种新的偏好对齐流程，从训练流程上进行改造，增加了同步采样和在线参数更新等环节，实现了模型训练过程中的奖励模型更新和数据分布对齐，最终实现金融问答能力的有效提升。本发明实现在保持原有方法高效性的基础上，可以有效缩小策略之间的分布差异，保证最优策略的优化方向，同时近似实时的更新偏好数据的监督信息，增强了高奖励制度中奖励模型的可靠性，更好的对齐人类偏好，从而保证在金融业务领域的可靠性、泛化性。