视觉语言模型（VLM）这项 AI 技术所取得的突破令人振奋。它提供了一种更加动态、灵活的视频分析方法。VLM 使用户能够使用自然语言与输入的图像和视频进行交互，因此更加易于使用且更具适应性。这些模型可以通过 NIM 在 NVIDIA Jetson Orin 边缘 AI 平台或独立 GPU 上运行。本文将探讨如何构建基于 VLM 的视觉 AI 智能体，这些智能体无论是在边缘抑或是在云端都能运行。
还能玩纸牌游戏。
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。
也许视觉模型离AGI更近。
本文介绍清华大学的一篇关于长尾视觉识别的论文: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition. 该工作已被 TPAMI 2024 录用，代码已开源。
语言将是获得更智能系统的重要组成部分。
与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。
最近，《柳叶刀》上的一篇医学文章发表了有关心血管疾病风险预测的里程碑式结果。之所以如此有影响力，是因为这项名为CaRi-Heart的技术结合了AI视觉识别和预测算法，可以在没有明显症状时提前10年识别出重大的心血管疾病风险。
相同性能情况下，延迟减少 46%，参数减少 25%。
目标检测领域，迎来了新进展—— Grounding DINO 1.5，IDEA研究院团队出品，在端侧就可实现实时识别。
