北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务
北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务训完130亿参数通用视觉语言大模型,只需3天!北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。
来自主题: AI资讯
8060 点击 2023-11-29 15:32
搜索
训完130亿参数通用视觉语言大模型,只需3天!北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。
AI能理解搞笑视频笑点在哪里了。北大等团队开源视觉语言大模型Video-LLaVA,将图像和视频表示对齐到统一的视觉特征空间,在13个图片和视频基准上达到先进的性能。
夸克网盘电脑端播放器已经支持视频5倍速播放、4K画质和多音轨播放等能力。在自研的AI视觉大模型技术帮助下,升级后的夸克网盘播放器支持AI字幕和文稿生成,更加方便用户理解和管理内容
最近,智源、清华和北大联合发布了全新的10亿参数的3D视觉通用模型——Uni3D,在主流3D视觉能力上取得了全方位的性能突出!
联发科今日宣布与 vivo 在 AI 领域深度合作和联调,率先实现了 10 亿和 70 亿 AI 大语言模型以及 10 亿 AI 视觉大模型在手机端侧的落地