强化学习之父Richard Sutton给出一个简单思路，大幅增强所有RL算法
强化学习之父Richard Sutton给出一个简单思路，大幅增强所有RL算法在奖励中减去平均奖励
来自主题: AI技术研报
7014 点击 2024-11-01 12:43
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在奖励中减去平均奖励
机器人控制和自动驾驶的离线数据损坏问题有解了！ 中科大王杰教授团队 (MIRA Lab) 提出了一种变分贝叶斯推断方法，有效地提升了智能决策模型的鲁棒性。
现实世界中的强化学习在应用过程中也面临着巨大的挑战，尤其是如何保证系统的安全性。为了解决这一问题，安全强化学习（Safe Reinforcement Learning, Safe RL）应运而生，成为当前学术界和工业界关注的焦点。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
香港中文大学等机构的研究团队通过深度强化学习（DQN）开发了一种3D打印路径规划器，有效提升了打印效率和精度，为智能制造开辟了新途径。
Google DeepMind的SCoRe方法通过在线多轮强化学习，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法在MATH和HumanEval基准测试中，分别将自我修正性能提高了15.6%和9.1%。
无需依赖外部反馈或额外模型，纯纯的自我纠正。
OpenAI的研究科学家布朗（Noam Brown），这两天在他的自我介绍中，加上了一条：OpanAI o1的联合创始人。
OpenAI o1 在数学、代码、长程规划等问题取得显著的进步。一部分业内人士分析其原因是由于构建足够庞大的逻辑数据集 <问题，明确的正确答案> ，再加上类似 AlphaGo 中 MCTS 和 RL 的方法直接搜索，只要提供足够的计算量用于搜索，总可以搜到最后的正确路径。然而，这样只是建立起问题和答案之间的更好的联系，如何泛化到更复杂的问题场景，技术远不止这么简单。
本文作者来自于清华大学电子工程系，北京大学人工智能研究院、第四范式、腾讯和清华-伯克利深圳学院。其中第一作者张瑞泽为清华大学硕士，主要研究方向为博弈算法。通讯作者为清华大学电子工程系汪玉教授、于超博后和第四范式研究员黄世宇博士。