关键词: AI,数据标注,MIA-DPO,模型训练

多图像场景也能用DPO方法来对齐了！ 由上海交大、上海AI实验室、港中文等带来最新成果MIA-DPO。 这是一个面向大型视觉语言模型的多图像增强的偏好对齐方法。

关键词: TDPO-R,模型训练,openai,o1

OpenAI 最近发布的 o1 模型在数学、代码生成和长程规划等复杂任务上取得了突破性进展，据业内人士分析披露，其关键技术在于基于强化学习的搜索与学习机制。通过迭代式的自举过程，o1 基于现有大语言模型的强大推理能力，生成合理的推理过程，并将这些推理融入到其强化学习训练过程中。

关键词: SFT,RLHF,DPO,IFT,AI关键词

SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐

关键词: AI,RLHF,RLAIF,PPO,DPO,模型训练

为了对齐 LLM，各路研究者妙招连连。

关键词: AI,Llama 7B,Meta,LLM,RLHF,DPO,模型训练

Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。

关键词: DPO,IPO,KTO,模型训练,模型算法

尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。