CVPR 2026 | 让3DGS看见内部结构，中关村学院GaussianPile实现切片式容积影像快速重建

近年来，3D Gaussian Splatting（3DGS）在三维视觉和图形学中展现出很强的表示与渲染能力。相比传统体素或神经辐射场，它用一组可优化的各向异性高斯来表示三维场景，既能保留连续空间结构，又能实现高速渲染。

但在医学和科学成像中，一个很自然的问题是：如果面对的不是自然场景中的 “表面”，而是超声、显微、MRI 等切片式成像采集得到的三维容积重建数据，3DGS 还能不能发挥作用？

北京中关村学院和清华大学提出的 GaussianPile 正是围绕这个问题展开。它是一个面向切片式容积成像的稀疏高斯表示与重建框架，尝试将传统 voxel grid 形式的三维体数据转换为一组 3D Focus Gaussian primitives，在保持内部结构可重建的同时，实现压缩、快速渲染和三维体素化评估。

• 论文标题：GaussianPile: A Unified Sparse Gaussian Splatting Framework for Slice-based Volumetric Reconstruction
• arXiv 地址：https://arxiv.org/abs/2603.20611

GaussianPile 与已有方法在质量、速度和训练时间上的对比

为什么切片式容积成像需要新的表示

在生物医学成像中，很多三维数据并不是一次性获得完整体积，而是由一系列二维切片堆叠得到。例如自动乳腺超声、光片显微、结构光显微和部分 MRI 数据，都可以看作是切片式容积数据。

这类数据通常面临三个问题：

• 首先是数据量大。高分辨率三维图像会迅速带来存储和传输压力。传统体素网格虽然直观，但每个空间位置都需要显式存储，随着分辨率提高，成本增长很快；
• 其次是切片方向的成像特性不能被忽略。真实成像系统并不是理想的 “无限薄切片”。每一张切片往往具有有限厚度和有限焦深，切片内的像素值来自一定厚度范围内结构的共同贡献。这一点在超声和光片显微中尤其明显；
• 第三是交互效率。很多隐式神经表示方法可以带来较好的压缩率，但优化和查询通常较慢，更适合作为冷存储方案，而不适合需要快速访问、实时浏览甚至机器人导航的应用场景。

因此，GaussianPile 希望构建一种表示：既像 3DGS 一样高效、紧凑、可渲染，又能尊重切片式成像中的物理过程，保留医学和科学分析真正关心的内部结构。

GaussianPile 的核心思想

GaussianPile 的核心是把切片式成像的 “有限厚度” 显式写进高斯渲染过程。

标准 3DGS 主要面向自然场景的表面渲染，通常假设相机是 all-in-focus 的：一个三维点投影到图像平面时，并不显式考虑医学成像中沿切片方向的点扩散和焦深效应。直接把它用于切片数据时，可能出现一个问题：二维切片看起来拟合得还不错，但三维内部结构并不可靠。

GaussianPile 引入了一个 focus-aware physical model。具体来说，它将成像系统在切片方向上的点扩散函数建模为一个有限厚度的 sensitivity map，并把这个物理响应与每个 3D Gaussian 的投影过程结合起来。这样，距离当前切片较近的高斯会对图像产生主要贡献，而离焦区域的高斯会被自然衰减。

GaussianPile 的 focus-aware rendering pipeline

整个渲染过程可以概括为三步：

1. Scan：在三维高斯表示中采样不同深度的虚拟切片；

2. Focus：根据切片厚度和系统焦深，对高斯进行轴向重参数化，并调制离焦区域的贡献；

3. Pile：将经过 focus 调制的高斯投影到二维切片，并采用 additive rasterization 累积体积强度。

这里的 additive rasterization 也很关键。自然场景渲染常用 alpha blending 来处理遮挡关系，但切片式医学成像中的像素强度 intensity 更接近体积信号沿成像方向的积分。因此，GaussianPile 采用加性累积来描述不同高斯对同一像素的贡献，使渲染过程更符合切片式容积成像的物理含义。

从 voxel 到 Gaussian：压缩之外，更重要的是可计算的三维表示

GaussianPile 并不只是把体数据 “压小”。它更像是把切片序列转换成了一种可计算的三维中间表示。

在这个表示中，每个高斯包含位置、尺度、方向和强度等参数。由于 Gaussian 本身是连续函数，一个高斯可以覆盖一片空间区域，因此通常不需要像体素网格那样逐点存储。同时，GaussianPile 去除了标准 3DGS 中用于表面外观建模的球谐系数，因为医学切片强度更接近视角无关的体积密度，而不是自然图像中的视角相关颜色。

在压缩阶段，GaussianPile 进一步利用高斯参数的空间相关性，对位置、尺度、旋转和透明度等属性进行量化与熵编码。实验中，GaussianPile 相对于 voxel grid 实现了稳定约 16 倍的压缩，在部分数据集上压缩率达到 20 到 26 倍，同时仍能保持非常好的二维切片重建和三维结构一致性。

实验结果：达到速度、质量和压缩之间的平衡

实验部分在自动乳腺超声（ABUS）、光片显微（LSM）以及多组细胞显微数据上评估了 GaussianPile，并与 HEVC、INR/NeRF 类压缩方法以及原始 3DGS 方法进行了比较。

结果显示，GaussianPile 在多个数据集上取得了更好的 2D PSNR/SSIM 和 3D PSNR/SSIM。相比 HEVC，它能更好保留细微结构；相比 INR 类方法，它在高频细节和优化速度上更有优势；相比直接使用 3DGS，它能显著改善三维结构不一致和 floating artifacts 等问题。

不同方法在超声和显微数据上的二维重建效果对比

在效率方面，GaussianPile 可以在数分钟内达到较高质量结果。论文中报告的平均收敛时间约为 8 分钟，部分数据在约 3 分钟内即可得到较好重建结果。相比需要较长优化时间的 INR/NeRF 类方法，GaussianPile 最高实现约 11 倍加速，同时保留了 Gaussian 表示带来的实时渲染能力。

三维重建结果对比。适配后的原始 3DGS 虽然可能拟合二维切片，但三维内部结构容易失真；GaussianPile 保持了更好的三维体结构一致性。

除了常规医学和显微数据，研究团队还在电子显微等更大规模数据上进行了扩展实验，观察到 GaussianPile 在更高分辨率体数据上仍具有较好的可扩展性。这说明该表示不仅适用于小规模样本，也有潜力服务于更大规模的科学成像数据的浏览和分析。

在大型数据集上的可扩展性分析

未来方向

在机器人辅助手术中，系统需要尽可能实时地获得组织的三维结构，并进一步完成肿瘤、血管或其他关键区域的定位与理解。传统方案往往依赖更复杂的阵列硬件或机械扫描来提高三维成像质量，但这会带来成本、体积和扫描时间上的压力。另一方面，如果算法侧的重建过程过慢，也难以进入 “成像 - 理解 - 规划 - 执行” 的闭环。

GaussianPile 提供了一种折中路径，在不改变底层成像模态的前提下，把成像数据转换为紧凑、连续、可渲染的三维高斯表示。这个表示既可以用于快速浏览和压缩存储，也可以进一步支持体素化评估、三维分割和后续可能产生的可变形建模。

小结

GaussianPile 尝试回答的是一个交叉问题：3DGS 这种高效三维表示，能否从自然场景扩展到具有明确物理约束的切片式容积成像？答案是：可以，但不能直接照搬。关键在于把真实成像系统中的有限切片厚度和焦深效应纳入高斯前向投影过程，让表示不仅能拟合二维图像，还能保持三维内部结构的一致性。

从实验结果看，GaussianPile 在重建质量、训练速度和压缩率之间取得了较好的平衡。更重要的是，它将体素网格转化为一种连续、稀疏、可交互的高斯表示，为医学影像压缩、科学数据浏览，以及手术机器人场景下的实时三维感知提供了新的技术路径。

作者简介

本文第一作者来自北京中关村学院 & 清华大学 2024 级联培博士生孔迪，通讯作者为清华大学长聘副教授、北京中关村学院共建导师马骋和清华大学博士后陈誉文，并由王一凯副教授（北京师范大学）、郭文杰（清华大学）、卜一凡（清华大学）、张博雅（北京中关村学院 & 南开大学）、段月欣（北京中关村学院 & 南开大学）、岳夏微（北京中关村学院 & 南开大学）、杜文彪（北京中关村学院 & 北京理工大学）、仲依蔓（北京中关村学院 & 北京航空航天大学）共同合作完成。该研究依托北京中关村学院学生自主立项 “乳腺智能微创手术机器人系统及关键技术研究” 项目开展，研究团队长期聚焦三维视觉与计算成像相关的算法研究。

文章来自于"机器之心"，作者 "孔迪"。