关键词: 对齐,Ilya,openai,OpenAI联合创始人,深度学习

今天，OpenAI 联合创始人、首席科学家 Ilya Sutskever 发推宣告离职。

关键词: 模型训练,对齐,大模型,模型量化

随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。

关键词: SPPO,对齐,模型训练,自我博弈微调,微调

Richard Sutton 在 「The Bitter Lesson」中做过这样的评价：「从70年的人工智能研究中可以得出的最重要教训是，那些利用计算的通用方法最终是最有效的，而且优势巨大。」

关键词: 大模型,Ai,AI公司,大模型对齐,AI工程师

本文主要内容为提示词工程师的工作实际经验和感悟。详人所略，略人所详。Prompt领域的优秀教程越来越多，基础知识可以参见社区先辈刘海同学：[23.08] 网上疯传的「AI 提示词工程师」到底是什么？

关键词: OpenBMB,大模型,对齐, UltraFeedback,UltraChat

迄今，全球超 200 个模型基于来自 OpenBMB 开源社区的 Ultra Series 数据集（面壁 Ultra 对齐数据集）对齐，数据集包括 UltraFeedback 和 UltraChat，共计月均下载量超 100 万。

关键词: ReAlign,数学推理,对齐,模型训练

大模型对齐新方法，让数学推理能力直接提升9%。

关键词: 大模型偏好,模型训练,对齐

在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。

关键词: MATRIX,模型训练,对齐,Constitutional AI,社会模拟框架

随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？

关键词: 模型训练,大模型对齐,GAIR,OPO

OPO 无需训练即可实现实时动态对齐，而且因其即插即用的特性，适用于所有的开源与闭源大模型。

关键词: RLHF,大模型训练,对齐

复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。