重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
来自主题: AI技术研报
7769 点击 2025-07-23 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
Kimi K2称霸全球开源模型的秘籍公开了！
我们知道，训练大模型本就极具挑战，而随着模型规模的扩大与应用领域的拓展，难度也在不断增加，所需的数据更是海量。大型语言模型（LLM）主要依赖大量文本数据，视觉语言模型（VLM）则需要同时包含文本与图像的数据，而在机器人领域，视觉 - 语言 - 行动模型（VLA）则要求大量真实世界中机器人执行任务的数据。
如何让AI像人一样，仅凭少量演示，就能稳健适应复杂多变的真实场景？ 美国东北大学和波士顿动力RAI提出了HEP（Hierarchical Equivariant Policy via Frame Transfer）框架，首创“坐标系转移接口”，让机器人学习更高效、泛化更灵活。
人形机器人作为用于复杂运动控制、人机交互和通用物理智能的多功能平台，正受到前所未有的关注。然而，由于其复杂的动力学、欠驱动和多样化的任务需求，实现高效的人形机器人全身控制 (Whole-Body Control，WBC) 仍然是一项根本性的挑战。
本文的主要作者来自复旦大学和南洋理工大学 S-Lab，研究方向聚焦于视觉推理与强化学习优化。
让机器人像人一样边看边理解，来自浙江大学和vivo人工智能实验室的研究团队带来了新进展。
最近使用cursor的朋友可能已经遇到了这个问题：打开Cursor，准备使用Claude- sonnet4开始Vibe Coding，却看到了"Model not available"的提示。这不是您的网络问题，而是Cursor对中国地区用户限制了高级模型的访问。对于习惯了AI辅助编程的工程师来说，这简直像是突然失去了得力助手。
在噪声污染严重影响预训练数据的质量时，如何能够高效且精细地精炼数据？ 中科院计算所与阿里Qwen等团队联合提出RefineX，一个通过程序化编辑任务实现大规模、精准预训练数据精炼的新框架。
多模态大模型崛起，安全问题紧随其后 近年来，大语言模型（LLMs）的突破式进展，催生了视觉语言大模型（LVLMs）的快速兴起，代表作如 GPT-4V、LLaVA 等。