业界首个高质量原生3D组件生成模型来了！来自腾讯混元团队

业界首个高质量原生3D组件生成模型来了！来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型，而下游应用通常需要语义可分解的3D形状，即3D物体的每一个组件需要单独地生成出来。

一般来说，组件式3D生成主要有2个应用场景：

1） 视频游戏制作管线： 在游戏中， 很多资产是要根据语意信息将其绑定不同的游戏逻辑， 比如，汽车模型应该能够被分解为主体和四个可滚动的轮子， 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时，3D几何生成的下游链路，包括低模拓扑，UV展开等模块。这些模块处理很复杂的几何会变得困难，通过将复杂几何进行拆分简单的小组件，这种分而治之的策略，可以大大降低下游算法的处理难度。

2）3D打印： 这对3D打印行业也是不错的消息， 用户可以把组件一个一个打印出来然后再组装，像搭积木一样。

然而，现有的组件式3D生成方法通常缺乏足够的可控性，生成部件的几何质量不够理想，并且语义连贯性有限。

对此，Hunyuan3D-Part提出了一种用于打造可投入生产，几何质量高，可编辑，且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示，给定一张输入图片，团队首先使用Hunyuan3D的基模型获取整体形状（可以是V2.5或者V3.0）。

然后，将整体Mesh传递给部件检测模块P3-SAM，以获得语义特征和部件的边界框（bounding boxes）。

最后，由X-Part将整体形状分解为各个部件。

△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于：

1）提出了业界首个原生3D分割模型P3-SAM， 利用大规模高质量3D数据训练，摆脱对2D数据的依赖，大幅提高3D组件分割的精度和鲁棒性。

2）提出了工业级组件生成模型X-Part，重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型，称为Point-Promptable Part Segmentation，即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割，生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作，SAM为实现这一目标提供了可行的方案。

然而，本方法聚焦于自动实现精确的组件分割，并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示，仅采用单一正点提示进行处理。

具体来说，如图2所示，P3-SAM包含一个特征提取器、三个分割头和一个IoU（交并比）预测头。

△图2. P3-SAM训练流程

PointTransformerV3作为特征提取器，并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合，并传递至分割头，用于预测三个多尺度掩码。同时，IoU预测头用于评估掩码质量。

为实现物体的自动分割，如图3所示，团队利用FPS（最远点采样）生成点提示，配合NMS（非极大值抑制）合并冗余掩码。点级掩码随后被投影到网格面上，从而获得部件分割结果。

△图3. P3-SAM自动分割流程

本方法的另一关键创新在于，完全摒弃2D SAM的影响，依赖于原生3D部件监督，进行原生3D分割模型的训练。

鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注，本方案开发了一套用于美术师创建网格的自动化部件标注流程，并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。

最终模型在该数据集上展现出优越的可扩展性，并实现了强鲁棒性、精确性及全局一致性的组件级分割。

X-Part：高保真且结构一致的形状分解

X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下，生成高保真、结构一致的部件几何体，同时保证对分解过程的灵活可控性。

如图4所示，首先利用P3-SAM得到组件的包围盒，点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块，利用P3-SAM包围盒作为提示，指示部件的位置和尺寸，而不是直接将分割结果作为输入。

与细粒度、点级分割提示相比，包围盒提供了一种更粗粒度的引导方式，有助于缓解对输入的过拟合。

此外，包围盒还为部分可见部件提供了额外的体积信息，从而有利于生成和可控性。

其次，尽管分割结果可能存在不准确，团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响，因此能够提供更准确的语义表示。

因此，团队将语义特征以精心设计的特征扰动方式引入到其框架中，这有助于实现有意义的部件分解。

△图4. X-Part训练流程

Benchmark定量对比结果

本方案在三个数据集上进行了效果评估：PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一个子集，包含8个类别共200个数据样本，并且都带有人工标注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的闭合水密（watertight）版本。

如表1（组件分割模型P3-SAM和现有工作对比结果）、表2（组件生成模型X-Part和竞品对比结果）所示，其分割和生成结果大幅超越现有工作。

可视化效果

团队还对模型的分割及生成效果进行了可视化。

下图为P3-SAM的分割结果：

然后是X-Part的生成结果：

下图为X-Part的生成结果， 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。

下图为X-Part的生成结果和开源对比：

下图为X-Part的生成结果和闭源R模型对比：

体验地址及相关技术论文如下。

代码：https://github.com/Tencent-Hunyuan/Hunyuan3D-Part

权重： https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM论文及项目地址：

https://arxiv.org/abs/2509.06784

https://murcherful.github.io/P3-SAM/

X-Part论文及项目地址：

https://arxiv.org/abs/2509.08643

https://yanxinhao.github.io/Projects/X-Part/

体验入口：

（轻量版）Hugging Face demo：https://huggingface.co/spaces/tencent/Hunyuan3D-Part

（满血版）混元3D Studio：https://3d.hunyuan.tencent.com/studio

文章来自于微信公众号 “量子位”，作者 “量子位”