简介

• 论文主页
• paper地址
• 代码

DMTet论文借鉴了DefTet(Deformable Tetrahedral Meshes)的思路，使用可变性的四面体网格来编码SDF。DefTet可以从点云噪声重建3D mesh物体表面，也是第一个能从单张图片恢复物体mesh的工作。

使用神经网络的3D重建工作通常是以下几种：点云、体素、mesh、隐式表达(比如SDF) ，它们各有优劣：

1. 体素可以表达各种拓扑结构，并且能使用CNN来完成。但是在高清晰度的重建工作中，体素需要高分辨率的网格，这会消耗更多内存。它还需要多层结构，比如八叉树，想要在此之上实现基于深度学习的方法是很麻烦的，因为这种结构不连续的，其结构会随着树的占有情况变化而变化。
2. 基于隐式函数和点云的做法虽然不需要事先施加预定的分辨率，但是：
   • 它们生成的结果需要进一步加工为mesh，才可被下游使用。
   • 基于表面的正则化¹相对容易添加到基于mesh表达的方法，但并不容易被添加到这些方法中，因为物体表面是被隐式定义的。
3. 基于mesh表达的方法可以直接生成mesh物体，已经能生成高质量的结果。但是，这种方法通常需要预定义mesh所属的类型（比如曲面）。这限制了这种方法能处理的物体类型²。

四面体网格是图形学中表示三维物体的主要方法之一，特别是广泛用于物理学模拟。与体素类似，四面体网格不仅模拟表面，而且使用由四个三角形组成的三维单纯形³四面体作为基本单位，来模拟形状的整个内部。在这项工作中，我们提出利用四面体网格进行重建问题，使其适合深度学习。我们的表示是一个完全细分成四面体的立方体，其中三维形状是容积性的，嵌入四面体网格中。网格中顶点的数量和它们的相邻性是固定的，与网络的输出大小成比例。然而，顶点的位置和每个四面体的二进制占用情况是动态的。这使得网格可以变形，以更准确地适应对象几何体，而不是相应的体素表示。我们将这种数据结构命名为可变形四面体网格（DEFTET）。给定典型的重建损失函数，我们展示如何向顶点位置以及四面体占用情况传播梯度。

DEFTET 有许多优点：

1. 可以输出任意拓扑结构的形状，通过四面体的占据情况区分物体内部和外部。
2. DEFTET 还可以通过变形四面体里的三角形面来表示局部几何细节，从而在更低的内存开销下实现高保真的重建。
3. 此外，我们的表示还具有计算效率，因为它在推理时可以直接生成四面体网格，不需要后处理。
4. 我们的方法支持各种下游任务，例如基于 2D/3D 监督下的单视图/多视图 3D 重建。
5. 我们的结果是首次从嘈杂点云和图像直接生成四面体网格，这在图形学中是一个非常困难的问题，即对表面网格进行四面体化。
6. 我们还展示了DEFTET在真实环境中作四面体网格化的应用，即对给定的密闭表面进行四面体划分，突出了我们方法的优势。。

正文公式

在本文中，假设每个三维形状都在一个可以归一化到单位立方体的有限空间内。DEFTET定义了一个在这个空间中做操作的空间graph，我们完全将空间四面体化：

1. 每个四面体是一个由四个三角面、六条直边和四个顶点组成的多面体。
2. 两个相邻的四面体共享一个面、三条边和三个顶点。
3. 每个顶点都有一个定义在有限空间坐标系中的三维位置。
4. 每个三角面代表物体的一段表面，而每个四面体代表物体的一块部分，应当是不会再分解的。

我们使用QuarTet作初始四面体化过程，即空间的细分化。这个初始化过程是固定的。

当变形固定时，DEFTET概念上等同于体素网格⁴，因此可以表示任意物体拓扑结构。然而，通过将顶点位置移动，我们可以绕过将物体分解时遇到的锯齿问题（即“楼梯效应”）⁵，用更少的内存和更快的计算效率，容纳更精细的几何形状。

多面体的参数定义 Tetrahedron Parameterization