神经全息，使用相机在环训练

正文

神经全息，使用相机在环训练

技术背景：

全息显示拥有的直视显示能力，适用于AR/VR应用(对于直视显示，全息支持AR/VR系统无眼镜三维显示模式。二维和三维全息有优化focus cues、vision correction、设备外形尺寸、图像分辨率、亮度、动态图像、eyebox steering capabilities的潜力)。然而，计算机生成全息(computer-generated holography, CGH)的一个主要挑战在于算法运行时间和可获得图像质量之间的权衡，这使得快速合成高质量全息图像在目前来讲还难以实现。除此之外，大多数全息显示的图像质量差，还在于显示的实际光波传输与仿真模型之间存在失配问题。

技术要点：

基于此，斯坦福大学的Yifan Peng(一作)和Gordon Wetzstein(通讯)等提出了一种新的CGH框架，能产生前所未有的图像保真度和实时帧率。这个框架包含了：相机在环优化策略(直接优化或训练一个可解释的光波传输模型来生成全息图)、神经网络架构(第1个能实时生成1080p全彩高质量全息图像的CGH算法)。

(1)全息显示(所用空间光调制器为相位型SLM)

由相干光源产生的复值波场usrc(这个源场可以是平面波or球面波or高斯光束)入射到相位型SLM上，源场的相位以每SLM像素的方式延迟相位ϕ，场继续在自由空间或穿过某些光学元件传播到目标平面。用户或探测器可以在目标平面观察到场的强度。由SLM传输到目标平面的数学模型可以表示为：

ϕ就是需要求解值，可以用常用的相位复原法(如GS，Fienup法等)求解，也可以看作为一个优化问题求解：

s是一个固定的或学习的scale factor。相位复原是找到一个相位函数ϕ，而(2)是一个非凸优化问题，具有无穷解，CGH可以选择无穷解中的任何一个，因为它们都可以在目标平面上产生相同的强度。作者发现求解(2)用Adam可以获得好得图像质量。

缺点：这里的仿真数学模型与真实的光波传播模型并不完全一致，因此，即使使用了Adam也会让全息图像质量存在不佳的问题，因而提出下述相机在环策略。

(2)使用光波传播的相机在环相位优化

设想直接用进行前向传播，然后求其梯度用于误差反向传播，这是不可能的，但是可以近似为：

启用PyTorch的autodiff，将相机采集到的图像送入损失函数，可以计算出。计算需要先将ϕ^(k−1)送入，然后同时将它显示在SLM上，通过相机采集到|f(ϕ^(k−1))|²，autodiff追踪的梯度。使用梯度下降solver进行迭代求解：

式(3)和(4)就是相机在环全息图优化，传统的相位复原方法认为和很接近，但是相机在环在前向传播和误差反向传播都包含了，近似程度要更高。

缺点：只使用相机在环优化，对于每一个目标图像都需要校正一次，每一次校正优化都需要几分钟。

(3)使用相机在环模型训练的全息图合成

将优化分成训练和推测，训练阶段需要相机在环，推测阶段可以不需要相机合成任意全息图。所要解决的优化问题变为：

其中波传播模型成为一个参数化的模型，将光源、系统的光学像差、SLM的相位非线性、以及SLM不完美的衍射效率产生的非衍射光考虑在内，形式为：

缺点：相比单张图像的相机在环校正，图像质量有所下降

神经全息，使用相机在环训练

引入HoLoNet神经网络架构，以实时帧率获得高质量的二维全息图合成。其损失函数为：

实验结果：

多种CGH算法对比

参考文献：Yifan Peng, Suyeon Choi, Nitish Padmanaban, and Gordon Wetzstein. 2020. Neural holography with camera-in-the-loop training. ACM Trans. Graph. 39, 6, Article 185 (December 2020), 14 pages.

DOI：https://doi.org/10.1145/3414685.3417802

更多详情请联系昊量光电/欢迎直接联系昊量光电

关于昊量光电：

上海昊量光电设备有限公司是光电产品专业代理商，产品包括各类激光器、光电调制器、光学测量设备、光学元件等，涉及应用涵盖了材料加工、光通讯、生物医疗、科学研究、国防、量子光学、生物显微、物联传感、激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等服务。

您可以通过我们昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。

本文章经光学前沿授权转载,商业转载请联系获得授权。