首页 > 编程学习 > NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos 解读

1. 论文简介

(1)将NeRF和SDF方法结合来更好的回归物体表面(mesh)。

(2)通过在神经辐射场后嵌入可微模拟器,实现动力学参数学习和进行场景编辑。

2. 核心思想

上述论文包含三个模块:

1)Time-invariant information

看作是静态物体建模,相当于动态NeRF中的canonical pose,NeRF在该空间进行渲染,然后通过时间参数预测形变,进行动态物体渲染。

该模块有三个mlp:rigidity mlp用于预测前景背景,这里用该mlp将前景(运动物体)扣出来预测其canonical pose下的重建函数。输入是三维点坐标,输出就是一个数,越大表示该点属于动态物体的概率越大。

color mlp为nerf的颜色mlp,输出c(.)

sdf mlp对应nerf的density mlp,区别是这里用sdf的表达替换掉了nerf体密度的概念,输出为s(.)。

渲染方程如下:

 其中,w是加权权重,可学习。

2)Time-variant information

motion mlp也比较简单,输入有时序特征-latent code,和每个点的三维坐标,输出是一个变化量,

3)仿真模块

这个模块主要是用来进行运动模拟的。

pipeline:

通过marching cube 找到运动物体。

Physics Engine.

采用DiffPD的方法 获得mesh运动参数,可微分,直接引入神经网络训练。

类似匀变速公式:a=x/t^2,F=ma-> t^2 F= m x

h是time step。

参数优化 

思路也很简单,mi+b 得到的canonical坐标,应当和物理模型映射 回去的相同。

Copyright © 2010-2022 dgrt.cn 版权所有 |关于我们| 联系方式