BIFRÖST: 3D-Aware Image compositing with Language Instructions

代码：

https://github.com/lingxiao-li/Bifrost

论文：

https://arxiv.org/abs/2410.19079v2

Bifröst 是一个创新的3D感知图像合成框架，它利用扩散模型来执行基于语言指令的图像合成任务。

与传统的2D图像合成方法不同，Bifröst通过集成深度图和训练一个多模态大型语言模型（MLLM）作为2.5D位置预测器，增强了对复杂空间关系的处理能力，如遮挡和深度模糊。这使得Bifröst能够在保持对象身份的同时，生成与背景和谐且具有高度保真度的合成图像。

Bifröst框架的特点是能够理解语言指令，并在无需显式3D建模的情况下，预测对象在背景中的精确位置和深度。这种方法不仅提高了合成图像的质量，还减少了对昂贵的标注数据集的依赖，通过创新性地利用现有资源。

Bifröst在多个定性和定量评估中表现出色，证明了其在生成现实合成图像方面的优越性能。

技术解读

Bifröst 是一项基于扩散模型的3D感知图像合成技术，它通过结合深度学习和自然语言处理的能力，实现了根据语言指令对图像进行精确合成的功能。

这项技术的核心在于训练一个多模态大型语言模型（MLLM）来预测对象在复杂背景中的2.5D位置，并在图像合成过程中融入深度图信息，以增强模型对空间关系的理解和处理能力。

Bifröst的处理过程包括两个主要阶段：

• 首先，利用MLLM对语言指令进行解析，并预测出对象在背景中的大致位置和深度信息。
• 其次，根据预测结果，将对象图像与背景图像进行融合，同时考虑遮挡、深度模糊和图像和谐化等因素，生成高保真的合成图像。

Bifröst的技术特点体现在其能够处理复杂的3D几何关系，如遮挡，并且能够在不依赖显式3D建模的情况下，通过深度图来指示对象与背景之间的空间关系。此外，Bifröst还能够利用现有的2D数据集进行训练，减少了对大量专门设计的文本-图像数据的依赖。

总的来说，Bifröst 为图像合成领域提供了一种新颖的解决方案，能够在保持对象身份的同时，生成与背景和谐且具有高度保真度的合成图像。这一技术的前景广阔，它不仅能够推动图像编辑和数字艺术创作的发展，还有潜力在电子商务、专业编辑和虚拟现实等领域发挥重要作用，未来有望进一步扩展其应用范围，支持更复杂的3D和视频基础的个性化对象合成任务，从而为用户带来更加丰富和直观的图像创作体验。

论文解读

这篇论文介绍了一个名为Bifröst的新型3D感知图像合成框架，它基于扩散模型来执行基于语言指令的图像合成。

主要内容和结构如下：

摘要：介绍了Bifröst，这是一个基于扩散模型的新型3D感知框架，用于执行基于语言指令的图像合成。Bifröst通过训练MLLM作为2.5D位置预测器，并在生成过程中集成深度图，增强了空间理解并支持复杂的空间交互。与现有方法相比，Bifröst在生成现实合成图像方面具有显著优势。

1. 引言：图像生成技术随着扩散模型的发展而蓬勃发展。Bifröst通过深度提示来指示对象与背景之间的3D几何关系，无需显式3D建模即可实现3D感知图像合成。

2. 相关工作：2.1节讨论了使用扩散模型进行图像合成的相关技术。2.2节探讨了将大型语言模型（LLM）与扩散模型结合的研究进展。

3. 方法：Bifröst的整体流程包括两个阶段：

• 第一阶段：使用定制数据集对MLLM进行微调，以预测语言指令中描述的复杂背景中的对象的2.5D位置。
• 第二阶段：根据生成的2.5D位置、对象和背景图像及其深度图，执行3D感知图像合成。

4. 实验：详细介绍了实现细节、超参数设置、缩放策略和基准测试。使用IoU和MSE损失来评估MLLM预测边界框和深度的准确性，并使用CLIPScore、DINO-Score和FID来评估图像合成模型的性能。此外，还进行了用户研究来评估生成图像的质量。

5. 结论：Bifröst在对象级图像合成方面取得了显著进展，不仅提高了质量和保真度，还提供了可控的生成过程，适应了复杂的空间关系。未来的研究将包括使用更广泛的数据集来改进MLLM，并扩展框架以支持3D和基于视频的个性化对象合成任务。

文章来自于微信公众号“ADFeed”，作者“ADFeed”