一、上次汇报指导意见回顾

<aside> 1️⃣

rgb重建效果差→没用tiling？

✅阅读msplat渲染后端中关于tiling的代码，发现从头实现这部分确实非常困难，因此转为在Pointrix现有管线中修改代码。

</aside>

<aside> 2️⃣

颜色灰→没用球谐表示颜色？

✅改用标准管线后，内含球谐处理流程，不用额外修改。

</aside>

<aside> 3️⃣

用于比较的baseline本身效果太差，无法指示工作的正确性

✅改用moge2作为depth和normal的baseline.

✅换用小规模数据集，避免下采样降低效果。

</aside>

二、修改后成果展示

2.1 数据集修改与大模型几何先验的修改

• 改用nerf_llff数据集的flower场景。该场景拍摄了对于同一簇花的33个不同视角的图片，清晰度很高，且单个物体（如叶片、花瓣）比较大。然而这个场景中叶片遮挡关系过多，下层不透光，难以获取深层信息。

<aside> 🖼️

示例图片

</aside>

• 改用当前sota的moge2大模型作为深度和法线的先验，光流先验保持使用RAFT。

<aside> 🖼️

示例图片

深度图

法线图

光流图

</aside>

2.2 不加监督时深度图、法线图和光流图的渲染效果

• 特征提取方面，我在 msplat.py 的 render_iter() 方法中，添加了法线和光流特征提取的代码，具体方法如下

  • 法线特征，先从最小 scale 提取法线方向，然后通过 w2c 矩阵转换到相机坐标系，最后通过检验法线方向与高斯点到相机向量方向的夹角，让表面法线选择朝向相机的那个方向。
  • 光流特征，把高斯点投影到相邻的相机平面，然后把像素位置做差。

• alpha-blending 时，为了适配 moge 特殊的深度可视化方案，把深度特征的背景值设置为当前深度图的最大深度值。

  <aside> 🎨

  moge 的深度可视化方案

  disp = 1 / depth  # 深度转视差
  color = colormap(1.0 - disp_normalized)  # 反转映射
  

  3个特殊之处：

  1. 深度→视差变换：用 1/depth 转换，然后把视差线性映射到色盘
  2. 反向颜色映射：1.0 - disp 实现近暖远冷
  3. 分位数归一化：用 quantile(0.001, 0.99) 裁剪异常值

  适配理由：

  • 视差一致性：背景深度最大 → 视差最小 → 自然映射到冷色（蓝）
  • 避免异常值：若设为 0 会导致 1/0=NaN；设为 1000 会压缩颜色范围
  • 平滑过渡：场景深度 [1, 10, 100(bg)] → 视差 [1.0, 0.1, 0.01] → 颜色均匀分布

  </aside>

• 关键改进：魔搭上nerf_llff数据集质量太差，用 gaussian-splatting 库中的 convert.py 重新做一遍 SfM 以生成点云、估计相机位姿，效果比之前好太多。估计是 3dgs 的 SfM 方法比 colmap 好一些。

  <aside> 🆚

  convert 前后 rgb 重建效果对比

  convert 前

  

  convert 后

  

  gt

  

  </aside>

<aside> 🖼️

效果展示

rgb

rgb_gt

depth

depth_gt

某些位置深度、法线和光流信息都缺失（为背景颜色），翻看数据图片，发现这些地方正是拍摄不到的纯黑色的区域，应该是convert.py没有给这些地方分配点云。

</aside>

2.3 几何先验监督下的 3D 高斯渲染

这一部分相对上一次汇报，代码上没做什么改动，我将直接开始展示监督效果。

2.3.1 法线监督

<aside> 🖼️

</aside>

2.3.2 深度监督

<aside> 🖼️

</aside>

2.3.3 光流监督