搜索
本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态动作质量评价领域的最新研究成果，相关论文已被 ICML 2026 接收为 Spotlight，并已开源。真实世界中的多模态数据往往并不完整。在动作质量评价任务中，视频、光流、音频等模态能够从不同角度描述动作执行过程，但在实际采集时，传感器故障、环境噪声、隐私限制等因素都会导致模态缺失。
多模态 Agent 的记忆系统，过去很容易被理解成一个升级版 RAG：图片、图表、PDF 进来之后，先抽取内容、做 embedding、写进向量库；用户提问时，再用 query 做检索，把命中的top-k图片、文档页或图表一并塞进上下文，再交给多模态模型回答。整个过程中，所有原始模态信息都会不加选择的塞给大模型。
近日，来自KAUST生成式AI卓越中心、吉林大学、浙江大学、瑞士人工智能实验室等机构，由包括「现代人工智能之父」Jürgen Schmidhuber在内的研究者组成的团队，发布了一篇回答这个问题的研究论文。
最近，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线策略蒸馏方法: DOPD (Dual On-policy Distillation) ，通过优势感知的双重蒸馏范式，成功破解了这一难题。
专注于4D世界模型研发和产业化的魔芯科技联合浙江大学潘云鹤院士团队发布MoWorld——全球首个Flash World Model，也是首个全栈基于国产NPU构建的实时交互世界模型。
2026年5月28日，Nature通讯发表了题为 《Multimodal deep learning model for AI-based functional prognostic risk stratification in patients undergoing radical nephrectomy》 的论文。
7月2日，字节 Seed 发布了一个 Agent评测项目 EdgeBench。看起来又是一个 benchmark，但它问了一个其他榜单不问的问题。EdgeBench 的切口就是把盲区里的东西放进评测，解答一个问题：把Agent扔进一个陌生环境，12小时后，你能变强多少？
大语言模型在代码生成上的能力不断增强，但在复杂算法题，尤其是竞赛编程场景中，仍然容易因为算法选择错误、边界条件遗漏、复杂度判断失误或隐藏测试覆盖不足而失败。Solvita是一款面向竞赛编程的智能体框架，通过四个角色（Planner、Solver、Oracle、Hacker）形成闭环系统，并利用可训练的图结构知识网络积累经验。
现在的 AI Agent 动辄需要处理超长上下文，既要看系统提示词、工具说明，又要翻阅历史对话和检索文档。为了省钱、省算力并降低延迟，很多开发者会给系统加上 “提示词压缩”（Prompt Compression）模块，把冗长的上下文浓缩后再喂给大模型。
手术 AI 正在从 “单帧感知” 迈向 “全流程视频理解” 的全新时代！近日，由中国科学院香港创新研究院人工智能与机器人创新中心领衔，发布了全球首个十亿级参数、最大规模数据集练成的手术视频原生基础模型 ——SurgMotion！