
将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B
将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
来自主题: AI技术研报
6820 点击 2024-01-31 16:23
对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。
GPT-4V风头正盛,LLaVA-1.5就来踢馆了!它不仅在11个基准测试上都实现了SOTA,而且13B模型的训练,只用8个A100就可以在1天内完成。