自首次提出 GPT 架构以来，转眼已经过去了七年。 如果从 2019 年的 GPT-2 出发，回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4，不难发现一个有趣的现象：尽管模型能力不断提升，但其整体架构在这七年中保持了高度一致。
当训练成本飙升、数据枯竭，如何继续激发大模型潜能？
当大多数AI Agent仍在挣扎于结构化推理能力不足的困境时，本文带来了一个来自认知科学领域的突破性解决方案。
你是否曾对着一个繁复的AI框架，无奈地想："真有必要搞得这么复杂吗？"在与臃肿框架斗争一年后，Zachary Huang博士决定大刀阔斧地革新，剔除所有花里胡哨的部分。于是Pocket Flow诞生了——一个仅有100行代码的超轻量级大语言模型框架！
巨头英伟达，即将收购阿里前副总裁贾扬清的初创Lepton AI，交易价值或达数亿美元！而Lepton AI，仅仅创立两年。
何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。
Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。
CVPR 2025，混合新架构MambaVision来了！Mamba+Transformer混合架构专门为CV应用设计。MambaVision 在Top-1精度和图像吞吐量方面实现了新的SOTA，显著超越了基于Transformer和Mamba的模型。
当涉及到空间推理任务时，LLMs 的表现却显得力不从心。空间推理不仅要求模型理解复杂的空间关系，还需要结合地理数据和语义信息，生成准确的回答。为了突破这一瓶颈，研究人员推出了 Spatial Retrieval-Augmented Generation (Spatial-RAG)—— 一个革命性的框架，旨在增强 LLMs 在空间推理任务中的能力。
AI引用正确率仅有4.2- 18.5%，用Deep Research就提高了引用正确率吗？似乎用Think&Cite框架的SG-MCTS和过程奖励机制PRM可以解决引用问题，生成可信内容。
