AI模仿人类看漫画，视频大模型时序定位能力新SOTA
AI模仿人类看漫画，视频大模型时序定位能力新SOTA用看漫画的方式，大幅提升视频大模型时序定位能力！
来自主题: AI技术研报
6216 点击 2024-11-23 16:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用看漫画的方式，大幅提升视频大模型时序定位能力！
tokenizer对于图像、视频生成的重要性值得重视。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
网络智能体旨在让一切基于网络功能的任务自动发生。比如你告诉智能体你的预算，它可以帮你预订酒店。既拥有海量常识，又能做长期规划的大语言模型（LLM），自然成为了智能体常用的基础模块。
SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。
在当前内卷严重的实时目标检测 (Real-time Object Detection) 领域，性能与效率始终是难以平衡的核心问题。绝大多数现有的 SOTA 方法仅依赖于更先进的模块替换或训练策略，导致性能逐渐趋于饱和。
在 AIGC 的热潮下，基于语音驱动的视频口型编辑技术成为了视频内容个性化与智能化的重要手段之一。
原生多模态大模型性能瓶颈，迎来新突破！ 上海AI Lab代季峰老师团队，提出了全新的原生多模态大模型Mono-InternVL。 与非原生模型相比，该模型首个单词延迟最多降低67%，在多个评测数据集上均达到了SOTA水准。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
英伟达开源了超强模型Nemotron-70B，后者一经发布就超越了GPT-4o和Claude 3.5 Sonnet，仅次于OpenAI o1！AI社区惊呼：新的开源王者又来了？业内直呼：用Llama 3.1训出小模型吊打GPT-4o，简直是神来之笔！