一种基于多视角穿衣人体运动视频的重建及驱动方法

本发明提供了一种基于多视角穿衣人体运动视频的重建及驱动方法方法。该方法包括：使用双层三维高斯表示来建模人体及对应的衣服；对于人体和衣服的粗糙三维网格上的任意一个面定义三维高斯椭球的几何属性；在重建阶段时，将衣服和身体粗糙三角网格由基准空间变化到观测空间，并更新高斯的几何属性；根据输入视频的相机位姿和参数，将观测空间的三维高斯表示光栅化到图像空间，并依据高斯溅射公式渲染图片。通过计算渲染图片和真实图片的颜色差作为优化目标，即可对模型进行自监督的训练；在重建完成进行驱动时，利用当前帧的几何结果计算下一帧的衣服粗糙三角网格的位置；使用重建阶段方法和相关参数渲染新姿势下的驱动图片。