RLHF不够用了，OpenAI设计出了新的奖励机制
RLHF不够用了，OpenAI设计出了新的奖励机制OpenAI 的新奖励机制，让大模型更听话了。
来自主题: AI技术研报
5171 点击 2024-07-25 18:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
OpenAI 的新奖励机制，让大模型更听话了。
如何让大模型更好的遵从人类指令和意图？如何让大模型有更好的推理能力？如何让大模型避免幻觉？能否解决这些问题，是让大模型真正广泛可用，甚至实现超级智能（Super Intelligence）最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点，大模型对齐技术（Alignment）所要攻克的难题。
李飞飞创办World Labs，估值超10亿美元。
「AI教母」创业，3个月就干出了估值10亿的AI独角兽。
World Labs被曝已完成2轮融资，最新一轮融资金额约1亿美元。
从排名Top20的美国AI教育产品中，一窥 AI 战略背后的产品取胜关键。
在人工智能领域的发展过程中，对大语言模型（LLM）的控制与指导始终是核心挑战之一，旨在确保这些模型既强大又安全地服务于人类社会。早期的努力集中于通过人类反馈的强化学习方法（RLHF）来管理这些模型，成效显著，标志着向更加人性化 AI 迈出的关键一步。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。
高质量图像编辑的方法有很多，但都很难准确表达出真实的物理世界。 那么，Edit the World试试。
比斯坦福DPO（直接偏好优化）更简单的RLHF平替来了，来自陈丹琦团队。 该方式在多项测试中性能都远超DPO，还能让8B模型战胜Claude 3的超大杯Opus。 而且与DPO相比，训练时间和GPU消耗也都大幅减少。