压缩思维链CCoT：一种突破性的高效AI推理新范式
压缩思维链CCoT：一种突破性的高效AI推理新范式在大语言模型（LLM）的发展历程中，思维链（Chain of Thought，CoT）推理无疑是一个重要的里程碑。
来自主题: AI技术研报
8012 点击 2024-12-24 09:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在大语言模型（LLM）的发展历程中，思维链（Chain of Thought，CoT）推理无疑是一个重要的里程碑。
针对大语言模型的推理任务，近日，Meta田渊栋团队提出了一个新的范式：连续思维链，对比传统的CoT，性能更强，效率更高。
大语言模型（LLM）在自然语言处理领域取得了巨大突破，但在复杂推理任务上仍面临着显著挑战。现有的Chain-of-Thought（CoT）和Tree-of-Thought（ToT）等方法虽然通过分解问题或结构化提示来增强推理能力，但它们通常只进行单次推理过程，无法修正错误的推理路径，这严重限制了推理的准确性。
MAPLE实验室提出通过强化学习优化图像生成模型的去噪过程，使其能以更少的步骤生成高质量图像，在多个图像生成模型上实现了减少推理步骤，还能提高图像质量。
一般而言，LLM 被限制在语言空间（language space）内进行推理，并通过思维链（CoT）来表达推理过程，从而解决复杂的推理问题。
目前大语言模型（Large Language Models, LLMs）的推理能力备受关注。从思维链（Chain of Thought，CoT）技术提出，到以 o1 为代表的长思考模型发布，大模型正在展现出接近人类甚至领域专家的水平，其中数学推理是一个典型任务。
全球首个AI程序员Devin正以其自主编码、快速学习的超凡能力，挑战传统程序开发的边界。它不仅让投资界为之疯狂，更让程序员们既期待又警惕。这是技术革命的黎明，还是就要被颠覆的工作landscape？
AtomThink 是一个包括 CoT 注释引擎、原子步骤指令微调、政策搜索推理的全流程框架，旨在通过将 “慢思考 “能力融入多模态大语言模型来解决高阶数学推理问题。量化结果显示其在两个基准数学测试中取得了大幅的性能增长，并能够轻易迁移至不同的多模态大模型当中。
MEGA-Bench是一个包含500多个真实世界任务的多模态评测套件，为全面评估AI模型提供了高效工具。研究人员发现，尽管顶级AI模型在多个任务中表现出色，但在复杂推理和跨模态理解方面仍有提升空间。
研究人员通过案例研究，利用大型语言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思维链（CoT）提示在解码移位密码任务中的表现；CoT提示虽然提升了模型的推理能力，但这种能力并非纯粹的符号推理，而是结合了记忆和概率推理的复杂过程。