JRender给的demo7-nerf.py效果极差

zl18 · 2022 年12 月 14 日 02:17

我运行JRender的NeRF的demo：

python demo7-nerf.py --config configs/lego.txt

训练完成从jrender/logs/blender_paper_lego/blender_paper_lego_spiral_050000_rgb.mp4看效果非常差，试了多次都不好，下面是logs/blender_paper_lego/testset_050000/blender_paper_lego_r_1.png的内容。

请问是否给的demo文件参数有问题，我需要怎么样才能运行一个效果正常的nerf例子？如果是这样，nerf示例为什么不把参数合理的程序放上来呢，这对没训过nerf的人来说很不友好。

LDY · 2022 年12 月 15 日 08:04

jrender使用的数据坐标系和下载的坐标系有些不一致,把

github.com

Jittor/jrender/blob/fe5cad890daa46efaf54f88017296f7e259c79bd/jrender_vol/camera/pinhole.py#L11


      
          import jittor as jt

          import numpy as np

          from jittor import nn

          

          # Pinhole Camera Rays

          def pinhole_get_rays(H, W, focal, c2w, intrinsic = None):

              i, j = jt.meshgrid(jt.linspace(0, W-1, W), jt.linspace(0, H-1, H))

              i = i.t()

              j = j.t()

              if intrinsic is None:

                  dirs = jt.stack([-(i-W*.5)/focal, -(j-H*.5)/focal, jt.ones_like(i)], -1).unsqueeze(-2)

              else:

                  i+=0.5

                  j+=0.5

                  dirs = jt.stack([i, j, jt.ones_like(i)], -1).unsqueeze(-2)

                  dirs = jt.sum(dirs * intrinsic[:3,:3], -1).unsqueeze(-2)

              # Rotate ray directions from camera frame to the world frame

              rays_d = jt.sum(dirs * c2w[:3,:3], -1)  # dot product, equals to: [c2w.dot(dir) for dir in dirs]

              # Translate camera frame's origin to the world frame. It is the origin of all rays.

              rays_o = c2w[:3,-1].expand(rays_d.shape)

              return rays_o, rays_d

前面的系数从[-1,-1,1]改成[1,-1,-1]应该就正常了。
dirs = jt.stack([-(i-W*.5)/focal, -(j-H*.5)/focal, jt.ones_like(i)], -1).unsqueeze(-2)
改为
dirs = jt.stack([(i-W*.5)/focal, -(j-H*.5)/focal, -jt.ones_like(i)], -1).unsqueeze(-2)

同时建议观察到前1000step psnr出明显上涨后再继续训练，避免nerf出现开始训练崩溃的情况