最近，来自北大的研究人员提出了一种全新的视觉语言大模型——Video-LLaVA，为alignment before projection提供了新颖的解决方案。

与以往的视觉语言大模型不同，Video-LLaVA关注的是提前将图片和视频特征绑定到统一个特征空间，使LLM能够从统一的视觉表示从学习模态的交互。

此外，为了提高计算效率，Video-LLaVA还联合了图片和视频进行训练和指令微调。

论文地址：https://arxiv.org/pdf/2310.01852.pdf

GitHub地址：https://github.com/PKU-YuanGroup/Video-LLaVA

Huggingface地址：https://huggingface.co/spaces/LanguageBind/Video-LLaVA

凭借强大的语言理解能力，诸如ChatGPT这类的大语言模型迅速在AI社区风靡。而如何让大语言模型同时理解图片和视频，也成为了大模型背景下的研究多模态融合的热点问题。

最近的工作将图片或视频通过几个全连接层映射成类似文本的token，让LLM涌现理解视觉信号的能力。

然而，图片和视频是分开用各自的编码器，这对LLM学习统一的视觉表征带来了挑战。并且通过几个映射层教会LLM同时处理图片和视频的性能往往不如视频专家模型如Video-ChatGPT。

对此，来自北大团队认为这种现象源于misalignment before projection。因为图片特征和视频特征在送入LLM之前就已经收敛到各自的特征域空间，这就给LLM学习它们之间的交互带来了挑战。

类似的现象如misalignment before fusion，也可以在早期的多模态融合工作被观察到，如ALBEF。

不同视觉语言大模型范式的比较

方法介绍

Video-LLaVA的方法简单有效，不需要额外自己预先训练图片和视频模态的编码器，而是巧妙地通过LanguageBind编码器来预先对齐图片和视频特征，形成统一的视觉表征。

具体来说，Video-LLaVA采用的图片和视频编码器通过共享一个语言特征空间，图像和视频表示最终融合成一个统一的视觉特征空间，称之为图像和视频的emergent alignment。

因此，Video-LlaVA通过LanguageBind预先对视觉输入进行对齐，以减小不同视觉信号表示之间的差距。统一的视觉表征经过共享的投影层后，输入到大语言模型中。

并且Video-LlaVA在训练过程中始终没有用到视频图片成对的数据，而是在训练后发现的LLM会惊人的涌现出同时理解图片和视频。

如下图所示，Video-LlaVA成功的识别出图片的自由女神像是近景且细腻的，而视频描述的是多角度的自由女神像，他们是来源于同一个地方。

Video-LLaVA采取两阶段的训练策略：

在视觉理解阶段，使用了一个558K个LAION-CC-SBU图像-文本对。视频-文本对是从Valley 提供的子集中获得的，总共有703k对，这些视频源自WebVid。

在指导微调阶段，团队从两个来源收集了指导性数据集，包括来自LLaVA的665k个图像-文本数据集，以及从Video-ChatGPT获得的包含100k个视频-文本数据集。

- 视觉理解阶段

在这个阶段，模型需要通过一个广泛的视觉-文本对数据集来获取解读视觉信号的能力。每个视觉信号对应一个回合的对话数据。

这个阶段的训练目标是原始的自回归损失，模型通过学习基本的视觉理解能力。在此过程中，冻结模型的其他参数。

- 指令微调阶段

在这个阶段，模型需要根据不同的指令提供相应的回复。这些指令通常涉及更复杂的视觉理解任务，而不仅仅是描述视觉信号。需要注意的是，对话数据包含多个回合。

如果涉及多轮对话，输入数据会将所有之前回合的对话与当前指令连接起来，作为本回合的输入。训练目标与前一阶段相同。

经过这个阶段，模型学会了根据不同的指令和请求生成相应的回复。在这个阶段，大语言模型也参与训练。

实验

- 视频理解能力

如表3所示，Video-LLaVA在4个视频问答数据集上全面超过了Video-ChatGPT，并且涨幅相当可观。

- 图片理解能力

该研究还与InstructBLIP，Otter，mPLUG-owl 等图片语言大模型在图片语言理解任务上进行了比较，结果如表2所示：

- 预先对齐视觉输入

将图片编码器替换相同规模的MAE encoder。定义用MAE encoder是分隔的视觉表示，Languagebind是统一视觉表示（因为预先对齐了视觉表征），并且将MAE encoder和LanguageBind encoder在13个基准上进行对比，这其中包含9个图片理解基准和4个视频理解基准。

对于图片理解，统一视觉表示展现了强大的性能，它在5个图片问答数据集和4个基准工具箱上全面超过了分隔的视觉表示。

另外，我们注意到统一视觉表示在POPE，MMBench，LLaVA-Bench，MM-Vet这四个基准工具箱上的性能以巨大的优势超过。

这突出了预先对齐了视觉表征不仅在图片问答上提升了性能，还在图片理解的其他方面收益，如减小幻觉，提升OCR能力等。

由于替换图片编码器为MAE encoder，视频特征和图片特征在LLM初始学习视觉表示时不再统一。

在图6，相比于分隔视觉表示，联合视觉表示在4个视频问答数据集上全面提高了性能。

这些结果展现了预先对齐视觉表征表示能够帮助LLM进一步学习理解视频。

同时论文还验证了无论是对于图片还是视频，在联合训练中他们能相互受益。

对于图片理解，Video-LLaVA在无法回答的和数字上的表现超过了LLaVA-1.5，这意味着联合训练视频使得在图片上的幻觉问题有所缓解，和对图片数字信号的理解能力增强。

相同的趋势在LLaVA-Bench上被观察到，Video数据显著提升了LLM在图片Complex reasoning，Conversation上的表现。

对于视频理解，团队在4个Video问答数据集上评估。

与没有图片参与训练的Video-LLaVA相比，有图片联合训练的模型在4个数据集上全面超过。

这些结果证明了联合图片和视频一起训练能够促进LLM理解视觉表示。

参考资料：

https://github.com/PKU-YuanGroup/ Video-LLaVA

文章来自微信公众号 “ 新智元 ”