谷歌DeepMind的研究人员最近开发了一种技术，通过使用其他人工智能模型来改进提示词，进而提高 ChatGPT 等人工智能语言模型的数学能力。研究发现，使用人类式的鼓励能显著提高数学能力，这与之前的研究结果一致。

DeepMind 的科学家们在本月发表在 arXiv 上的一篇名为《作为优化器的大型语言模型》（Large Language Models as Optimizers）的论文中介绍了 "通过提示进行优化"（Optimization by PROmpting，简称 OPRO），这是一种提高大型语言模型（LLMs）性能的方法，例如 OpenAI 的 ChatGPT 和谷歌的 PaLM 2。 这种新方法通过使用自然语言引导 LLMs 解决问题，避免了传统基于数学的优化器的局限性。"自然语言 "是人类日常用语的一种别致说法。

"研究人员写道："我们没有正式定义优化问题，也没有用编程求解器推导更新步骤，而是用自然语言描述优化问题，然后指示 LLM 根据问题描述和之前找到的解决方案迭代生成新的解决方案。"

通常，在机器学习中，使用基于导数的优化器等算法的技术是提高人工智能模型性能的指南。将模型的性能想象成图形上的一条曲线： 我们的目标是找到这条曲线上的最低点，因为那里是模型犯错最少的地方。通过使用曲线的斜率进行调整，优化器可以帮助模型越来越接近那个理想的低点，从而使其在执行任何任务时都更加准确和高效。

OPRO 不依赖正式的数学定义来完成这项任务，而是使用自然语言描述的 "元命题 "来为优化过程奠定基础。然后，LLM 会根据问题描述和之前的解决方案生成候选解决方案，并通过给每个解决方案打分来对其进行测试。

在 OPRO 中，两个大型语言模型扮演着不同的角色：评分器 LLM 评估目标函数（如准确率），而优化器 LLM 则根据过去的结果和自然语言描述生成新的解决方案。对评分器和优化器 LLM 的不同配对进行了评估，包括 PaLM 2 等模型和 GPT 变体。OPRO 可以让优化器反复生成更高分的提示，从而优化评分器 LLM 的提示。这些分数可帮助系统识别最佳解决方案，然后将其添加回 "元提示"，用于下一轮优化。

"深吸一口气，循序渐进"

DeepMind 研究中最吸引人的部分或许是特定短语对输出结果的影响。在对数学问题数据集进行测试时，"让我们一步步思考 "等短语促使每个人工智能模型产生更准确的结果。(这项技术在 2022 年 5 月广为人知，这要归功于一篇现在已经很有名的论文《大型语言模型是零镜头推理器》）。

中英文原版论文PDF，请添加官方微信 openai 免费领取

考虑一个简单的文字问题，例如："贝丝在一周内烤制了四批二十多块饼干。如果这些饼干平均分给 16 个人吃，每人吃掉多少块饼干？" 2022 年的论文发现，与其自己给聊天机器人喂一个这样的单词问题，不如在前面加上 "让我们一步步思考"，然后再把问题粘贴进去。人工智能模型结果的准确性几乎总能提高，而且与 ChatGPT 配合使用效果也很好。

有趣的是，在这项最新研究中，DeepMind 研究人员发现，与 Google 的 PaLM 2 语言模型一起使用时，“深呼吸，逐步解决这个问题”是最有效的提示。该短语在GSM8K（小学数学应用题数据集）的测试中获得了 80.2% 的最高准确率。相比之下，PaLM 2在没有任何特殊提示的情况下，在GSM8K上的准确率仅为34%，而经典的“让我们一步一步思考”提示的准确率高达71.8%。

那么为什么这会起作用呢？显然，大型语言模型无法深呼吸，因为它们没有肺或身体。他们也不像人类那样思考和推理。他们所做的“推理”（“推理”在一些人中是一个有争议的术语，尽管它很容易被用作人工智能的艺术术语）是从书籍和网络上抓取的大量语言短语数据集借用的。这包括问答论坛之类的内容，其中包括许多“让我们深呼吸”或“一步一步思考”的例子，然后再展示更仔细的推理解决方案。这些短语可能有助于LLM从吸收到神经网络权重的数据集中，得出更好的答案或产生更好的推理或解决问题的例子。

尽管找出为LLM提供人性化鼓励的最佳方法，对我们来说有点令人困惑，但这对 OPRO 来说不是问题，因为该技术利用大型语言模型来发现这些更有效的提示短语。DeepMind 研究人员认为，OPRO 的最大优势在于它能够筛选多种可能的提示，找到针对特定问题给出最佳结果的提示。这可以让人们在未来从人工智能中获得更有用或更准确的结果。

文章转载自“arstechnica”