模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品
模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品用大模型“蒸馏”小模型，有新招了！
来自主题: AI技术研报
8013 点击 2024-12-04 09:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用大模型“蒸馏”小模型，有新招了！
尽管近期 Qwen2-VL 和 InternVL-2.0 的出现将开源多模态大模型的 SOTA 提升到了新高度，但巨大的计算开销限制了其在很多场景下的应用。
用看漫画的方式，大幅提升视频大模型时序定位能力！
tokenizer对于图像、视频生成的重要性值得重视。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
网络智能体旨在让一切基于网络功能的任务自动发生。比如你告诉智能体你的预算，它可以帮你预订酒店。既拥有海量常识，又能做长期规划的大语言模型（LLM），自然成为了智能体常用的基础模块。
SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。
这两天Github上有一个项目火了。可用于生产环境GraphRAG的开源UI项目kotaemon，更新不到两天后已经有6.6KStar，昨日新增1.3KStar已位居Github Trending榜首。周末抽空部署了一下，还挺简单，推荐给大家。
在当前内卷严重的实时目标检测 (Real-time Object Detection) 领域，性能与效率始终是难以平衡的核心问题。绝大多数现有的 SOTA 方法仅依赖于更先进的模块替换或训练策略，导致性能逐渐趋于饱和。
在 AIGC 的热潮下，基于语音驱动的视频口型编辑技术成为了视频内容个性化与智能化的重要手段之一。