<aside> 💡
几何先验监督的3D高斯渲染
</aside>
本课题要求对3D GS 渲染进行深度，光流与Normal监督，设计对应的损失函数，并可视化监督前后损失函数的变化与深度图，表面法线图等几何信息的对比结果。
3D 高斯点云使用一系列的3D 高斯点来表示场景，第i个高斯点的表示如下：
$$ G_i(X) = e^{-\frac{1}{2} (X - \mu_i)^T \Sigma_i (X - \mu_i)}, $$
其中
$$ \Sigma_i = R_iS_iS_i^TR_i^T $$
其中 $\mu_i$可以在训练过程中优化，$R_i S_i$可以分别被3D 向量 $q_i$和 $s_i$表示。每个高斯点的空间位置$X_i$，不透明度$\alpha_i$，颜色特征$f_i$也可以在训练过程中优化。总的来说，3D 高斯点的可优化变量为：$P_i = \{X_i, \mu_i. s_i, q_i, \alpha_i, f_i\}$
为了得到待渲染像素$x$的颜色，3DGS采取一种类似于NeRF提渲染的方式来得到像素：
$$ C(x) = \sum_{i \in N} c_i \hat{\alpha_i} \prod_{j=1}^{i-1} (1-\hat{\alpha_j}), $$
其中$c_i$由每个高斯点的颜色特征$f_i$编码得到，$N$为高斯点的数量，详细细节请参考3D GS 论文[1] 与代码 [2]。
仿照3D GS 渲染颜色的方式，来渲染训练视角m 与 m+1 之间的近似光流，方式如下：
$$ x^m_i = T_m X_i, \\x^{m+1}i = T{m+1} X_i, $$
$$ F_{m\rightarrow m+1}(x) = \sum_{i \in N} (x^{m+1}i - x^m_i) \hat{\alpha_i} \prod{j=1}^{i-1} (1-\hat{\alpha_j}). $$
其中 $T_m, T_{m+1}$为视角m，m+1的 世界到相机的变换矩阵。
同时深度与表面法线也可通过类似的方式得到。
表面法线的渲染公式如下：