全面超越CoT！Meta田渊栋团队新作：连续思维链
全面超越CoT！Meta田渊栋团队新作：连续思维链针对大语言模型的推理任务，近日，Meta田渊栋团队提出了一个新的范式：连续思维链，对比传统的CoT，性能更强，效率更高。
来自主题: AI技术研报
8460 点击 2024-12-19 13:33
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
针对大语言模型的推理任务，近日，Meta田渊栋团队提出了一个新的范式：连续思维链，对比传统的CoT，性能更强，效率更高。
一般而言，LLM 被限制在语言空间（language space）内进行推理，并通过思维链（CoT）来表达推理过程，从而解决复杂的推理问题。
AI评估AI可靠吗？来自Meta、KAUST团队的最新研究中，提出了Agent-as-a-Judge框架，证实了智能体系统能够以类人的方式评估。它不仅减少97%成本和时间，还提供丰富的中间反馈。
Meta版o1也来了。 田渊栋团队带来新作Dualformer，把快慢思考无缝结合，性能提升还成本更低。 能解决迷宫、推箱子等复杂问题。
OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注，甚至让现在的 AI 行业开始放弃卷越来越大的模型，而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此，其从人类认知理论中获得了灵感，提出了一种新型 Transformer 架构：Dualformer。
随OpenAI爆火的CoT，已经引发了大佬间的激战！谷歌DeepMind首席科学家Denny Zhou拿出一篇ICLR 2024论文称：CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终，CoT会是通往AGI的正确路径吗？
Scaling law发展到最后，可能每个人都站在一个数据孤岛上。
3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。
ICLR 2024录用结果出来了。一年一度的ICLR顶会录用结果公布了！今年共7000多篇投稿论文，录用率31%。