基于双路 FNN 网络的固体火箭发动机壳体内缝检测方法研究

　　摘 要 ：火箭发动机壳体内部螺纹连接处缝隙的检测精度是衡量其质量的重要指标，由于发动机壳体内表面形貌复杂，因此内缝质量仅靠人工检测不仅效率低而且可靠性差。提出一种基于 FNN 网络的内缝视觉检测方法，以灰度共生矩阵和 PCA 算法构造图像的特征参数，训练 FNN 网络，将火箭发动机壳体内缝的粗加工面与精加工面进行分类，分类识别率 98.8%;然后，对两类情况做不同的图像处理，用 Sobel 算子找到缝隙边缘;最后，通过标定进行包括采集原始图像误差、直线拟合误差的系统误差修正，完成内缝宽度精确测量。实验表明，该方法稳定可靠，能够实现 0.1mm~0.6mm 范围 内 ±0.02mm 的识别精度。该方法实现了火箭发动机壳体内部螺纹连接处的高精度测量，为实现产品高效自动生产和质量检测提供了技术保障。

　　关键词：发动机内缝测量;灰度共生矩阵;PCA;神经网络

　　姜春英; 丁美杰; 孟向臻; 叶长龙; 王鹏; 闫子龙， 电子测量技术 发表时间：2021-10-29

　　0 引 言

　　固体火箭发动机主要采用螺纹连接，螺纹连接的扣数对发动机的稳定性十分重要。固体火箭发动机壳体内表面的缝宽大小是检测螺纹连接质量的重要指标之一。传统的缝宽检测方法是通过人工手动测量。由于人工对带药的固体火箭发动机进行检测，具有一定的危险性;且由于待测缝宽细小，使得操作者不易测量，导致测量结果一致性差，效率低。为了提高缝隙测量的精度与效率，保障操作人员的生命安全，非常有必要利用机器视觉的智能检测方法取代传统的人工操作环节，从而实现自动化、智能化的生产流程。

　　微小缝隙测量是个难题，而固体火箭发动机壳体由于其加工工艺不同，导致内表面环境复杂，从而使其缝隙测量难上加难。传统缝隙测量使用精密测量工具进行人工抽样检查，存在着测量速度慢、人为因素影响大等缺点，无法满足大规模自动化生产制造的需求。将机器视觉技术引入工件尺寸几何测量中，可实现非接触性高精度测量，既能避免测量过程中的人为误差，又可实现快速和连续测量，能有效保证生产制造过程的自动化。基于机器视觉的精密测量技术在工业生产现场的应用越来越普遍，已成为国内外研究热点。针对固体火箭发动机壳体内缝测量这一具体工程问题，待测图像的特征提取和边缘提取与定位是其检测方法的关键技术。在图像边缘提取技术领域，段振云等提出基于高斯积分曲线拟合的亚像素边缘提取算法 [1] ,定位精度高，但仅适用于单边阶跃状边缘;徐平等提出基于边缘像元投影的高精度亚像素检测方法[1]，然而此方法对噪声不敏感;在图像特征提取技术领域，由 Beltrami 和 Jordan 提出的主成分分析法(PCA)[2]，它可以用于图像矩阵降维，以降维后的矩阵为基础提取图像特征，但降维后的数据可解释性差;Haralick 等人提出的灰度共生矩阵 (GLCM)可以有效的提取出图像的纹理特征[3]，并良好的反映了图像空间中相隔某距离的两像素之间会存在一定的灰度关系。

　　为了满足固体火箭壳体内缝检测的精度要求，本文提出一种基于双路 FNN 网络火箭发动机壳体内缝方法。该方法通过预训练的神经网络将待测图像分为两类，并通过对两类图像预处理提升图像的质量，再通过 Sobel 算子提取并定位缝隙边缘，最后通过标定对系统误差进行修正。实验表明该方法测量的缝隙误差在 0.02mm 以内，满足精度要求。

　　1 双路 FNN 神经网络模型的构建

　　固体火箭发动机壳体内表面一侧由于加工工艺的不同，形成了粗加工面和精加工面两种不同情况。粗加工面和精加工面的形貌如图 1 所示：

　　图 1(a)中缝隙左侧的粗糙面约占固体火箭发动机内缝表面形貌情况的 2/3。图 1(b)中缝隙左侧形貌显得光滑，这是由固体火箭发动机内表面一侧部分壳体经过精加工导致。粗加工面含有刀花和黑斑，精加工面仅含有刀花，刀花和黑斑的存在都不便于寻找缝隙边缘，需要将其滤去，然而滤去黑斑和刀花时亦会造成边缘的损失。由于粗加工面与精加工面边缘损失不同，为了提高检测精度，设计相应的神经网络区分这两类情况，并对两类情况分别标定。

　　1.1 提取缝隙图像特征参数

　　1) 主成分分析(PCA)

　　PCA 的基本思想是通过寻找样本空间的一组正交向量，实现用少数主成分来描述原来的高维数据，进而最大限度地保留原始数据的信息。本文的图像共含 300×64 个像素。显然用这海量的数据去进行图像分类是耗费资源的。遂通过 PCA 对图像样本集 X 进行数据特征空间的重构如式(1)，取出最能反映图像特征的 4 组基底。 1 2 * ( , ...... )T X x x x ? N N P (1) 其中 N 为样本数，P 为维度。任意样本 xi可看作式(2): 1 ? p T i i i i i x x ? ? ??? (2) 式中 ?i表示线性无关的单位基，通过降维可将 xi写作式(3): 1 1 ? q p T T i i i i i i i i i q x x x ? ? ? ? ? ? ?? ? ? ? (3) 式中 q 表示降维后的特征维度，q+1 到 p 为遗失的维度。定义损失函数 J: 2 1 1 1 (( ) ) N q T i j i j J x x N ? ? ?? ? ? ? (4) 式中 x 为样本的均值。通过 PCA 降维后得到的 4 组基底重新构造样本图，任取 16 组重构图与原图进行对比，图像的信息损失如图 2 所示。

　　图 2(a)表示任取 16 张精加工与粗加工面原始图像的缝隙形貌，图 2(b)为通过 PCA 降维后与之相对应的 16 组精加工与粗加工面原始图像的缝隙形貌。与原图相比，重构图损失了部分像素，降低了图像清晰度，但与此同时也保留刀花和黑斑等主要特征。通过 PCA 降维处理，降低了图像因为线性相关，参数耦合所造成的影响，除去了部分冗余信息，但仍保留了图像的主要特征。

　　2) 灰度共生矩阵纹理特征的提取

　　灰度共生矩阵是一种通过研究灰度的空间相关特性的纹理表征方法，反映的是图像灰度分布关于方向、局部领域和变化幅度的综合信息。灰度共生的矩阵的构造因子包括步长 d、方向参数θ、灰度级 Ng 和窗口大小 S。固体火箭内表面纹理明显，没有方向性和周期性。为了提高运算效率，取θ为 0°。窗口大小取 8×8，灰度级取 16,长取 4。

　　灰度共生矩阵具有 14 个统计特征参数，窗口的特征向量维度较高，存在信息冗余的现象[4]，根据经验值选取对比度、角二阶矩、熵和逆差矩作为表征内缝表面纹理特征参数。分析两种情况下对比度、角二阶矩、熵和逆差矩的概率分布，结果如图 3 所示。

　　图 3 中依次绘制了角二阶矩、对比度、熵、逆差矩在粗加工面和精加工面两种条件下高斯核密度估计图。观察粗加工面与精加工面两种情况下 4 个特征参数的概率分布可知角二阶矩、对比度、熵、逆差矩在粗加工面和精加工面两种条件下相关性较低。适宜做神经网络的输入。

　　1.2 网络结构的设计

　　前馈神经网络(FNN)的数学涵义是逼近一个复合函数，如式(5)所示： y f x ? ( , ) ? (5) 式中 y 为神经网络的输出，x 为输入，θ为参数。通过学习参数θ的值，使函数值逼近 y。常规前馈神经网络通过将输入经过一系列复合起来的函数训练得到输出。其过程可用式(6)所示： f x f N f N f x ( ) ( ) ( 1)...( (1)( ))) ? ? (6) 随机对固体火箭发动机壳体内缝表面共拍摄 300 张图像作为分类实验样本图像。采用式(7)所示的平均分类精度 R 作为评判标准。

　　R N ? (7) 式中:Nright表示分类正确的样本数量，Nall表示所有样本数量。

　　分别以 PCA 降维得到的 4 组基底，构建灰度共生矩阵得到的 4 个特征参数以及 4 组基底加 4 个特征参数作为传统 FNN 网络输入，进行网络训练。表 1 所示为 3 种算法分类精度的实验统计结果，可以得出 PCA 基底+灰度共生矩阵特征参数作为网络输入，相较于其他两种算法有较大的提升。

　　根据实验结果可知灰度共生矩阵所构建的特征参数对分类结果具有更高的灵敏性。设计双路 FNN 神经网络，数学模型如式(8)所示：

　　式中 f(x)表示灰度共生矩阵所构建的特征参数作为输入的多层感知机，g(x)表示 PCA 降维后的 4 组基底作为输入的多层感知机,t(x ^ )表示将 f(x)和 g(x) 合并随机打乱顺序。F(t(x ^ ))表示将双输入合并后的多层感知机。本文设计网络模型结构如图 4 所示：

　　图 4 中的网络结构共有 5 个部分，Input 层表示网络的输入，包括由 PCA 和灰度共生矩阵算法得到的特征集合 1 和特征集合 2，Processing 层将对特征集合的预处理，通过多层感知机算法对特征进行自学习，Concatenate 层将特征集合 1 和特征集合 2 通过 Processing 层自学习得到的特征连接，再将连接的特征通过 DNN 深度神经网络，最终输出分类结果的概率。

　　为了加速网络收敛速度，对输入的特征进行 Normalization 处理，将其映射到[0,1]。对于隐藏层的激活函数选择双曲正切函数 tanh，输出层的激活函数选择 softmax，损失函数选择均方差 mean_squared_error，优化器选择随机梯度优化算法 SGD[5]。

　　使用 Tenserflow 中的 Keras 接口，通过面阵相机取出精加工面与粗加工面的火箭发动机表面图像各 500 组，将样本以 6：3：1 的方式划分为训练集、验证集与测试集。通过 SVM 分类器[6-7]，KNN 分类器[8-9]，贝叶斯分类器[10]，随机森林分类器[11]，以及传统 FNN 网络分类器[12]训练模型，其模型在测试集的精确度如表 2 所示。

　　如表 2 所示，本文设计的双路 FNN 网络的精度最高，达到了 98.8%。通过双路 FNN 网络将待测图片分为了粗加工面与精加工面两类，为待测图片的缝隙边缘提取，提供了便利。

　　2 图像边缘提取

　　2.1 精加工面预处理

　　固体火箭发动机壳体内表面精加工图像灰度值三维图如图 6(a)所示，从图像中可以看出，精加工面在缝隙的左侧较为平滑，灰度值趋于平稳，而缝隙的右测，部分 Y 方向的像素值变化明显。这是因缝隙两侧的壳体材料不同所导致。在缝隙的右侧，由于机械加工会产生部分刀花。为保证精度要求，通过连通域分析，设定面积阈值 K，滤去刀花。

　　首先通过 Otsu[13]阈值分割方法对图像进行分割，将图像二值化，再将图像进行连通域分析，并标记如图 5。

　　图 5 中每一个颜色表示为一个连通域，计算每一个连通域的面积，设定阈值 K，将面积值小于 K 的连通域的像素点置为 255。其算法如算法 1 所示:

　　算法 1 中 M 为连通域集合，K 为选定的面积阈值， f(x,y)为连通域里面的像素值。使用该方法滤去刀花后，固体火箭发动机壳体内表面精加工图像灰度值三维图如图 6(b)所示。

　　如图 6(b)所示，通过连通域标记并滤去刀花后，缝隙的左右两侧像素值都显得平滑，使缝隙更加明显。

　　2.2 粗加工面预处理

　　固体火箭发动机壳体内表面粗加工图像灰度值三维图如图 7(a)所示，图中粗加工面在缝隙的右侧和精加工面的表面结构是一致的，而在缝隙的左侧图像的像素值是杂乱无章的。这是由于相机采图采集到粗加工面导致。由于左侧联通域的面积不确定性较高，无法通过设定面积阈值将其滤去。观察左侧，不难看出左侧图像的灰度值分布较为混乱，所以通过计算图像 X 方向的信息熵将其滤去。

　　图像信息熵表征了图像中平均信息量的多少，在图像中表示灰度值的混乱度。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量。计算图像的每一列的信息熵，通过设定阈值 K，通过与阈值 K 比较判定该列属于粗糙面。若判定为真，将该列像素全部置为 255。图像的一维信息熵计算公式如式(9)所示： 255 0 log i i i H p p ??? (9) 式中 pi表示灰度值为 i 的值占该列像素灰度值的比例。H 表示一维信息熵。通过信息熵判定后，得到粗加工图像灰度值三维图如图 7(b)所示：

　　通过信息熵判定滤去黑斑，粗加工表面形貌接近精加工表面，在对粗加工表面进行连通域滤去刀花，使缝隙的边缘清晰可见，便于提取。

　　2.3 图像缝隙提取

　　待测图像分类并预处理之后，通过 Otsu 算法将图像二值化。将图像以 y 方向划分为 64 个线像素。经二值化处理后,缝隙的部分在图像中的值为 0。缝隙计算方法的伪代码如算法 2 所示。首先统计每一行线像素中像素值为 0 的个数。通过设定阈值 threshold1 和 threshold2 滤除由系统误差导致的缝隙过大或过小的情况。最后返回像素个数的均值[14]。

　　3 实验标定

　　3.1 视觉检测系统

　　待测固体火箭发动机壳体直径为 120mm，固体火箭该发动机壳体匀速旋转，系统将连续采集多组小样本图像，样本图像尺寸为 0.76mm×5mm，降低了固体火箭发动机壳体曲率对缝宽测量带来的非线性误差。视觉测量系统工作装置如图 8 所示。

　　图中，通过气缸的工作将发动机固定住，并且将内窥镜伸到工作位置，图像通过内窥镜传到相机，再通过相机传输到上位机处理。

　　硬件部分，相机采用图像采集设备由高分辨率 CCD 黑白相机型号为 MER-1070-10GM，光源选择 8mm 同轴 LED 点光源，型号 HY-D3520,镜头选用千万像素级别 25mm 定焦镜头,型号为 WP-10M2514-C。经过多次试验，测得最佳相机参数为:镜头工作距离为 110~130mm;光圈 F 为 6~8;相机曝光时间为 7000μs;图像采集帧率为 14Hz。

　　软件部分，神经网络通过 Tensorflow 的 Keras 编程接口，通过手动获取数据集，训练导出模型 model 文件。内缝计算在 VC++环境下实现。

　　3.2 缝宽测量

　　为了验证本方法的有效性，针对两种情况，由专业检测人员利用塞尺各得到 15 组不同缝宽值。视觉系统计算值与人工测量数据如表 3 所示。

　　以表 3 中数据作为基准，通过 RANSAC[15]算法，将得到的视觉计算值与人工测量值进行拟合。拟合结果如图 9 所示。

　　由于固体火箭发动机壳体内表面粗加工面发生了漫反射，导致相同光照条件下，缝隙图像较精加工面显得更窄。与此同时，信息熵判定滤去粗糙面时亦会使缝隙变窄。导致粗加工面的图像拟合直线的权重略低于精加工面的图像权重。最终得到粗加工面与精加工面的视觉测量修正式如式(10): =1.875 * +0.08 =1.628 * +0.05 Y X Y X ?????粗 粗精 精 (10) 式中 X，Y 分别为标定前和标定后的缝宽。在固体火箭发动机壳体旋转一周的过程中，工业相机匀速采集 60 张缝隙图像。计算 60 张图像缝宽修正值的期望，将期望作为视觉系统输出的最终修正值。在[0.1,0.6]之间取出 15 位专业人士检测数据，与视觉系统输出的最终修正值进行误差分析，分析结果如表 4 所示。

　　表 4 中的结果显示专业检测人员利用塞尺测量值与视觉修正值的最大测量误差均小于 0.02mm，说明本文算法可以满足缝宽质量检测的需要。

　　4 结 论

　　针对固体火箭发动机壳体内表面缝隙缝宽测量问题，提出了一种基于双路 FNN 网络的火箭发动机壳体内缝检测方法。该方法通过 CCD 相机采集固体火箭发动机壳体内表面缝隙图像。通过双路 FNN 网络将其分为精加工面和粗加工面两种情况。分类精度达到 98.8%。并将精加工面、粗加工面的图像经过图像处理除去噪声。在通过边缘提取定位获得缝宽值，最后通过标定消除系统误差得到缝隙的实际宽度。对 0.1mm~0.6mm 的缝隙进行实验。结果表明，该方法的误差在 0.02mm 以内，为产品的质量和可靠性提供了重要保障。