一种基于多模态大模型的长视觉序列生成方法及装置

本发明公开了一种基于多模态大模型的长视觉序列生成方法及装置。该方法包括：获取训练用的多模态剧本数据；渲染器的训练和优化；自回归模型的训练；故事的生成。该装置包括：获取模块，用于得到训练用的多模态剧本数据；渲染器训练优化模块；自回归模型训练模块；生成模块。本发明能同时做到长故事与长视频的生成，不仅在视觉质量和叙事质量上取得了优越的表现，而且有效地将生成内容的持续时间显著延长。