重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
来自主题: AI技术研报
7377 点击 2025-07-23 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
这篇报告第一次把对人心智状态的推断，放到和物理世界模型（physical world model）同等重要的位置上，并将其概念化为心智世界模型（mental world model）。相比于传统世界模型（如LeCun的JEPA）仅关注物理规律（物体运动、机械因果），心智世界模型则首次将心理规律（意图、情感、社会关系）纳入世界模型框架，实现“双轨建模”。
自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。
你是否曾对着一个繁复的AI框架，无奈地想："真有必要搞得这么复杂吗？"在与臃肿框架斗争一年后，Zachary Huang博士决定大刀阔斧地革新，剔除所有花里胡哨的部分。于是Pocket Flow诞生了——一个仅有100行代码的超轻量级大语言模型框架！
一个新框架，让Qwen版o1成绩暴涨： 在博士级别的科学问答、数学、代码能力的11项评测中，能力显著提升，拿下10个第一！ 这就是人大、清华联手推出的最新「Agentic搜索增强推理模型框架」Search-o1的特别之处。
多模态模型，统一图像生成。
91行代码、1056个token，GPT-4化身黑客搞破坏！
Karger 算法可以在时间为 O (m log^3n) 的图中找到一个最小割点，他们将这个时间称之为近线性时间，意思是线性乘以一个多对数因子
大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测，超越一切传统时序模型。
现在，AI 大模型已经疯狂到这种地步了吗？此时此刻，正有两个 Claude 模型在无休止地对话，它们在探索整个宇宙的奥妙。