24点游戏、几何图形、一步将死问题，这些推理密集型任务，难倒了一片大模型，怎么破？北大、UC伯克利、斯坦福研究者最近提出了一种全新的BoT方法，用思维模板大幅增强了推理性能。而Llama3-8B在BoT的加持下，竟多次超越Llama3-70B！
来自主题: AI技术研报
8062 点击 2024-06-08 20:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
24点游戏、几何图形、一步将死问题，这些推理密集型任务，难倒了一片大模型，怎么破？北大、UC伯克利、斯坦福研究者最近提出了一种全新的BoT方法，用思维模板大幅增强了推理性能。而Llama3-8B在BoT的加持下，竟多次超越Llama3-70B！
未来5年内会在AI技术架构上有大的突破，Transformer会被逐步重构。15-20年内实现通用人工智能（AGI），并通过“新图灵测试”。
不使用外部工具也能让大语言模型（LLMs）实现严谨可信的推理，新国立提出 SymbCoT 推理框架：结合符号化逻辑（Symbolic Logical）表达式与思维链，极大提升推理质量，鲁棒性与可信度。
CRATE-α是一种新型Transformer架构变体，通过设计改进提升了模型的可扩展性、性能和可解释性，CRATE-α-Base在ImageNet分类任务上的性能显著超过了之前最好的CRATE-B模型，其性能会随着模型和数据集规模扩大而继续提升。
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。
Transformer挑战者、新架构Mamba，刚刚更新了第二代：
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？
改进Transformer核心机制注意力，让小模型能打两倍大的模型！
3D 重建和新视图合成技术在虚拟现实和增强现实等领域有着广泛的应用。NeRF 通过隐式地将场景编码为辐射场，在视图合成上取得了显著的成功。
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。