PMD算法在TOF 技术领域中的应用

　　TOF 技术广泛应用于三维可视化、模式识别、计算机视觉和多媒体等技术领域，已成为工业、军事检测控制和环境监测等领域不可缺少的技术，PMD算法的改进和提高，超分辨率的重建和降噪声，有效提升图像质量，在图像处理领域中有一定的科研价值和实用意义。

　　本文源自智能制造2020年2期《智能制造》(月刊)创刊于1994年，面向国内外公开发行.杂志以提高企业应用水平，追踪技术研发热点，报道市场发展动态为鲜明特点，生动、及时地反映CAD/CAM/CAPP/ERP领域的新动态。目前是CAD领域的专业杂志。内容涉及制造业和IT行业两大方面内容，信息量丰富。

　　一、引言

　　为了有效改善TOF类产品的视觉图像效果， 提高产品的质量。本文尝试通过研究、改善产品中的算法软件，达到完善图像处理效果的目的。

　　二、TOF 技术和PMD算法的起源及其应用

　　1、TOF 起源及TOF技术

　　1607年，意大利科学家伽利略，通过在相邻的两座山的山头上用灯光闪现接收光源，通过光速测量两点的距离，这是TOF 技术的最初起源。TOF (Time of Light)技术是根据光在往返过程的传播时间， 对光源到被测物体之间的距离进行有效测量的技术。

　　工作原理概述：激光发射光源向被测物体发送连续光信号。入射光信号在被测物体上产生反射光，利用光、电探测器接收反射光信号，根据光的传播速度和传播时间， 确定光源到被测物体之间的距离。

　　现代TOF 测量技术主要分为直接测量和间接测量法两种，TOF测量技术主要是连续波调制方法和脉冲调制方法，连续波调制方法能够实现诸多不同的调制、检调和检测方式，并能够利用频率调制方式和幅度调制方式。连续波调制方法中的幅度调制主要分为单频调制和幅度调频，利用光发射信号与接收信号之间的相位延迟和频率偏移，测量出被测物体到光源的距离。

　　PMD (Potonic Mixer Device) 是TOF技术的三维成像系统，能够实时获取动态场景的距离信息，PMD算法可以通过正则化算法图像处理重建，用于提升空间分辩率， 抑制随机噪声，实现距离图像的超分辩率重建。

　　2、 PMD-TOF 算法工作原理

　　系统如图1所示。

　　◎温度校正;

　　◎FPPN (固定相位模式噪声)校正;

　　◎计算双频距离;

　　◎自适应处理后， 计算双频距离;

　　◎计算三维坐标， 按式(15)、(16)和(17)计算坐标;

　　◎有效图像生成。

　　4、各类图像生成

　　距离图像又称为深度图像，可以矩阵表达方式显示，距离像素按行列排布，图像矩阵中任何一点的元素值是表示相机到被测物体之间测量的距离值。三维建模图像以被测物体为中心来详细地描述物体所具有的三维形状。PMD算法在TOF 相机的应用， 形成一种新型的3D成像系统，能够实时地获取距离图像信息。

　　(1)杂散光校正

　　杂散光形成，是成像系统中不需要的噪声(光)，非成像光线所成的像。由像面离焦或由明亮光源呈鬼影一样的像，由透镜表面反射形成。视场以外的光线穿越主镜，以杂散光形式汇聚焦平面，如图4和图5所示。

　　(2)应用实例

　　应用PMD 算法，通过LIBSPECTURE和 SDK，对杂散光进行校正处理，如图6所示。

　　经算法处理杂散光后，图像如图7所示。

　　(3)歧義距离去除

　　应用PMD 算法，通过LIBSPECTURE SDK，修正图像，如图8所示。

　　(4)自动曝光

　　应用PMD 算法， 通过LIBSPECTURE SDK，控制曝光过程，修正设定相关参数和图像，见公式(18)，如图9所示。

　　曝光参数修定前后的图像比较，如图10、图11所示。

　　(5)多径干涉

　　光线会在目标场景中多次反射，一个物体不仅会反射相机发射的调制光，也会反射来自其他间接路径的光。多个来源的反射光之间会导致干扰，从而引起深度测量的误差。这种现象就是大家熟知的多径效应， 影响成像质量，如图12、图13和图14所示。

　　四、算法标定和坐标确定

　　1、 标定值坐标确定

　　设定O为TOF 系统(X、Y、Z)坐标系中心，0为系统图像(X，Y)坐标系中心， 空间任意物点为P，经TOF 系统模组成像后， 在TOF 系统成像坐标系(X，Y)中为p点，TOF 系统对亮度图像的标定主要是确定系统内外 部参数和畸变系数、焦距。如图像的真实中心坐标u0，v0，径向畸变系数k1，k2，切向畸 变系数P1，P2等。通过参数和畸变系数，可以准确获得TOF 系统坐标和图像坐标系的变换关系，建立以下模式。TOF系统齐次坐标表达为(xc yc zc)T，存在如下数模关系，见公式(20)。

　　2、PMD算法标定、环境和设备

　　进行PMD算法标定需要如图18所示的设备，BOX1为LED box，BOX2为Fiber box。 BOX1 LED box 主要用于透镜参数(Lens Parameters)和固定图像相位噪声(FPPN)标定， LED box 中的标板上按规律布满 LED 灯，标定前需标记每个 LED 灯的位置，通过矫正后的透镜参数， 计算相应三维坐标系的参数。Fiber box 主要用于摆幅(Wiggling)标定。 如图18所示，Fiber box 连接 30 根长度不一的光纤，标定前需设定光纤的长度。通过30个不同距离得幅度值，拟成摆幅函数。

　　同时完成视场角(FOV)、暗电流和固定模式噪声(FPN)标定测试。

　　五、结论

　　TOF 技术广泛应用于三维可视化、模式识别、计算机视觉和多媒体等技术领域，已成为工业、军事检测控制和环境监测等领域不可缺少的技术，PMD算法的改进和提高，超分辨率的重建和降噪声，有效提升图像质量，在图像处理领域中有一定的科研价值和实用意义。