DiffusionNeRF

https://github.com/nianticlabs/diffusionerf

Untitled

Untitled

没太看懂这个regularization想要干啥(t是ray上sample点离o的距离)

Untitled

这个倒是没见过的regularization,好像是希望 只在某一single view里面出现的存在weight(σ)的sample point不被考虑(当作噪声之类的)

还有些DDPM的内容,得先好好看一下DDPM的paper再看了

Untitled

这部分score based model也需要补补课

Untitled

注 I是cam pose(即cam pose 下的σ和c的条件概率)

Untitled

不知道我理解的对不对,这个paper好像是用ddm的模型在一个RGBD的数据集上学了一些先验(主要是要学到depth信息)

然后这个loss就是加了一项 ε_θ(Unet shape的 pretrain 模型)输出?(这个输出的是用来denoise的 noise吧)

Untitled

就是用pretrain的ε_θ (输入是render出来的RGBD patch)出来的值直接用来bp了?(而且是-,那就是希望ε_θ的输出越大越好?(输出越大不是体现出来需要de的noise越严重吗?)