博览：2020 CVPR使用定向光锥变换的非视域曲面重建

正文

博览：2020 CVPR使用定向光锥变换的非视域曲面重建

技术背景：

非视域(Non-line-of-sight,NLOS)成像可以对视域之外的目标进行成像，其应用遍布遥感、国防、机器人视觉和自动驾驶等领域。通常，使用一个光源(如激光)不直接照射目标场景，而是通过一个中介面将光反射到目标场景上，目标场景将光反射到中介面，再由中介面反射到传感器上。传感器捕捉到由中介面反射回的场景信息，并将它们记录为二维图像(或瞬态)的时间分辨序列，通过计算的方法重建出场景图像。除了基于瞬态的成像外，其它NLOS成像模式还包括基于散斑或非相干强度测量以及被动传感和声学成像技术的成像模式。

基于瞬态的 NLOS 成像，其隐藏的NLOS场景通常被渲染为空间的三维反照率体积，或物体曲面的集合。在体积反照率模型中，目标是估计场景体素的反照率值，而在曲面重建模型中，人们通过估计曲面法线来更直接地恢复三维场景中的目标曲面。

当前不足：

当前基于曲面重建的方法虽然比基体积反照率的方法在重建物体几何细节上要更具有优势，但是它局限在简单的几何物体，且对初始状态敏感，计算量巨大。

文章创新点：

基于此，斯坦福大学的Sean I. Young和Gordon Wetzstein等人提出一种基于定向光锥变换(directional light-cone transform, D-LCT)，联合反照率(albedo)-法线(normal)的非视域场景重建方法，重建准确性和计算速度都大有提升。

原理解析：

(1)算法概述。隐藏场景的反照率和曲面法线提供了场景的互补信息，通过将场景曲面上任意一点的反照率和曲面单位法向量相乘，从而将由朗伯余弦定律引起的辐照度衰减考虑在内，使得前向模型不再只适合均匀的发射点源，更符合实际的漫反射或朗伯曲面。所求模型从标量计算转为向量计算，并将光锥变换拓展到向量形式的定向光锥变换，将反照率和曲面法线的复原看作为一个向量解卷积问题，使用Cholesky-Wiener分解来求解，通过在复原的法线上拟合曲面，重建高度准确的物体曲面(具体算法推导见附录)。

(2)系统构成。高功率脉冲激光(35ps脉宽，重复频率10MHz, 出射激光平均光功率为1W@532nm)经准直和线偏振处理后经过偏振分光棱镜透射到二维振镜上对场景进行扫描，经中介墙反射回来的光线沿着原光路返回，并被偏振分光棱镜反射后聚焦到单光子雪崩二极管(SPAD)上。时间相关单光子计数器以SPAD和激光的信号作为输入，并将光子时间戳流输出到计算机。

实验结果：

附录:

1、体积反照率模型

将三维场景坐标用(x,y,z)标记，可见曲面用(x',y',z=0)标记(见图1)。常见的瞬态成像模型是共焦体积反照率模型

ρ代表在有限场景空间Ω上的三维反照率体积。δ(·)将光的往返飞行时间和场景(x,y,z)与感知位置(x',y',z=0)之间距离的2倍联系起来，c是光速。1/r4=(2/tc)4表示由于距离引起的辐照度衰减。

将模型(1)离散化，沿着x-,y-,z-轴分别用N,N,M个点采样有限Ω空间。瞬态τ已经被(2/tc)4预缩放。使用矩阵表示的方法将离散化模型(1)紧凑表示为

τ，ρ∈ℝNXNXM，K是由采样δ(·)得到的二值矩阵。由于K是一个高条件数的低通算子，从给定的瞬态τ求解ρ是一个不适定问题，找到ρ作为正则化最小二乘问题的解。

问题(3)可以使用光锥变换(light-cone transform，LCT)求解。记重采样算子为T，让=T*ρ，=T*τ，问题(3)化为：

其中，H=T*KT是一个三维滤波器。

2、定向反照率模型

(1)式只适合各向同性的发射电源，不适合常见的漫反射或朗伯物体曲面，即(1)式忽略了由于朗伯余弦定律引起的辐照度衰减。将余弦项加入(1)式不仅可以使得前向传播模型更准确，还能够通过逆模型从瞬态恢复曲面法线。

记空间坐标s=(x,y,z)，s'=(x',y',z=0)，更新模型(1)，得

其中，n(s)=(nx,ny,nz)(s)∈ℝ3是在s处的曲面法线。当

时，模型(5)退化为体积反照率模型(1)。

模型(5)中的反照率ρ(s)∈ℝ是一个标量，而n(s)∈ℝ3是单位法向量。将反照率和单位法向量合并成一个定向-反照率向量：

将(7)代入(5)，并让r=||s'-s||,得到定向反照率模型

对(8)采取类似于(2)式在有限场景空间Ω内离散化的操作，得到

K矩阵与(2)同。在Ω上采样(s'-s)获得S=(Sx,Sy,Sz)。求解问题是由给定的瞬态τ复原定向反照率

，通过将(9)表示为一个正则化的最小二乘问题求解

3、定向光锥变换

尽管(10)有简单的解析解(closed-form solution)：

但是，解析解求解计算量巨大，不适合实际问题求解。

为了高效求解(10),将(4)式所用的LCT技术进一步推广到向量问题来，从而将(10)写为等效形式：

其中，

是重采样的变量，=T*τ。

4、Cholesky-Wiener解卷积

与(12)相关的法线方程写为：

其中，Hx=HSx,Hy=HSy,Hz=HI。使用Cholesky分解求解(14)。使用Cholesky因式分解的LDL变形，将矩阵A=H*H+λI分解为A=LDL*，其中

L和D的元素为

三角化的系统LDL* =H*τ使用前向和后向置换(forward- and back-substitutions)求解:

5、曲面重建

获得 之后，拟合曲面相当于复原场景对象的指示函数

 ，使得 的梯度等于 。表示为一个优化问题，从而有

G代表离散化的三维梯度算子。

参考文献：Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein. 2020. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform. Proc. CVPR.

原文链接：http://www.computationalimaging.org/wpcontent/uploads/2020/03/dlct_cvpr2020.pdf

代码：https://github.com/computational-imaging/nlos-dlct

关于昊量光电：

上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。

 

您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。

 

本文章经光学前沿授权转载,商业转载请联系获得授权。