在大语言模型（LLMs）后训练任务中，由于高质量的特定领域数据十分稀缺，合成数据已成为重要资源。虽然已有多种方法被用于生成合成数据，但合成数据的理论理解仍存在缺口。为了解决这一问题，本文首先对当前流行的合成数据生成过程进行了数学建模。
就在刚刚，又一位元老级人物官宣离职OpenAI了。 o1推理模型贡献者之一Luke Metz发文称，「我即将离开OpenAI，结束这段超过两年的奇妙旅程」。
OpenAI o1 在数学、代码、长程规划等问题取得显著的进步。一部分业内人士分析其原因是由于构建足够庞大的逻辑数据集 <问题，明确的正确答案> ，再加上类似 AlphaGo 中 MCTS 和 RL 的方法直接搜索，只要提供足够的计算量用于搜索，总可以搜到最后的正确路径。然而，这样只是建立起问题和答案之间的更好的联系，如何泛化到更复杂的问题场景，技术远不止这么简单。
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。
OpenAI被曝出了新项目「草莓」，据悉能提前计划，自主浏览网页，还能进行深度研究。草莓由大量通用数据上后训练而成，推理能力显著提高。根据OpenAI最近的AGI路线图，草莓疑似已达Level 2。
华人科学家程博文官宣即将入职OpenAI，加入后训练团队参与多模态模型研究。值得一提的是，他还是著名华人计算机泰斗Thomas Huang的学生。
