金属构件广泛应用于航空航天、兵器装备及轨道交通等领域。我国航空航天等行业高端装备关键金属构件因功能化和轻量化要求的不断提高而日益复杂。复杂金属构件多采用精密铸造工艺整体成形。在浇注成形工序中，铸件内部往往会出现缩孔、缩松、夹杂及裂纹等缺陷，热等静压及补焊消除上述几种内部缺陷的能力有限，因此基于X射线图像对铸件进行无损检测成为了确保产品质量的必要工序。 

使用X射线对铸件进行缺陷探测的流程为：将铸件放于可旋转平台上，X射线源发出X射线并透过铸件，视觉探测器（如CCD相机）感知探测X射线的能量信号，将其转换为数字图像后保存于工控机内，如图1a和图1b所示。在生产实践中，大多数铸造企业采用人工目视的方法识别X射线图像。为保证检测结果的可追溯性，检测人员往往将X射线图像打印出来，检测完毕后将结果及对应的X射线图像装入档案袋中，如图1c和图1d所示。

图1 铸件X射线检测过程示意图

基于人工目视的铸件X射线图像缺陷检测容易受到检测人员熟练度和身心状态的影响，检测的效率、精度、可靠性、稳定性难以得到保障，而且检测信息的保存与查询工作相当耗时耗力，严重阻碍了铸件生产全流程自动化的发展趋势。为实现基于数字X射线图像的铸件缺陷自动化、智能化检测及识别任务，国内外研究人员进行了近40年的探索。 

铸件数字X射线图像处理任务包括缺陷定位检测（包括缺陷分割）、缺陷分类识别、缺陷定位检测与识别一体化及缺陷图像生成。现有研究成果主要聚焦于缺陷定位检测和缺陷分类识别两类任务。且研究铸件X射线图像缺陷检测与识别的机构多分布在国内。

2017年以前，针对铸件缺陷定位检测开展研究的文献多采取基于图像底层特征信息的传统图像处理方法；2017年以来，针对铸件缺陷定位检测开展研究的文献主要采用了基于深度学习模型的端到端缺陷定位检测方法。

2016年之前，针对铸件缺陷分类识别任务开展研究的文献主要采取人工设计图像特征结合机器学习模型的方法；2016年之后，针对铸件缺陷分类识别任务开展研究的文献多是采用具有特征自学习能力的卷积神经网络（CNN）。

近两年开始涌现出有关基于端到端的铸件缺陷定位检测与分类识别一体化研究的文献。

的铸件，对其进行X射线检测，通过图像处理，获取不含缺陷区域的参考图像构成标准图像库；然后充分利用小波变换对待检测图像进行增强，凸显缺陷的同时避免边缘伪影的产生；基于改进的SURF特征将增强后的待检测图像与库中的标准图像进行配准，选择出合适的标准X射线图像；最后，利用图像差分法和铸件结构的先验知识对铸件缺陷进行检测。实验结果表明，该方法能够以较快的速度（4.7 s/张）有效地分割出大型铸件X射线图像内的缺陷。 

He Z等于2014年针对铝合金轮毂X射线图像（8位图像，分辨率约为401×377）提出了一种基于灰度序列对（GAP）特征的铸件缺陷分割检测方法（如图2所示），该方法基于多幅X射线图像的GAP特征，利用灰度关系稳定的像素对建立背景模型，然后统计待检测图像与背景模型的强度差异，实现缺陷的分割检测。在Pentium Core 2 Duo 3.00 GHz计算平台上，该方法分割一幅图像的平均时间为28毫秒。

图2 基于灰度序列特征的铸件缺陷分割检测示意图

为实现某种小型精密铸件的X射线图像（分辨率从150×100至600×500不等）中细小缺陷的检测，Yang K等通过对多层特征进行跨层融合，构建了同时包含低级空间信息、中级补充信息和高级语义信息的特征，基于此特征通过RPN生成了高质量候选区域，在高质量建议框的基础上实现了缺陷定位任务。实验结果表明该方法在检测细小缺陷时，其检测性能较其他模型更为优秀。

为提升铸件X射线图像（分辨率从150×150至350×250不等）中裂纹、夹杂及气孔等具有不同尺度的缺陷的检测性能，常海涛等通过融合Faster R-CNN模型第三级与第五级的特征，根据真实标注统计结果设计先验框并在ROI pooling层后引入了OHEM算法（如图3所示），显著提升了多尺度缺陷检测的性能。虽然通过两个阶段完成缺陷检测的FasterR-CNN等模型具有较高的精度，但生成建议框的区域推荐阶段增加了检测用时，难以适用于分辨率过大的图像的实时检测。

图3 基于改进Faster R-CNN的双阶段铸件缺陷检测网络模型示意图

2021年，Ji X等针对航空发动机钛合金铸件X射线图像（分辨率为3072×2400），提出了结合过滤选择性搜索和均匀分布CNN的缺陷检测与识别方法。在目标定位检测步骤中，通过对缺陷特征的统计分析，建立了带有尺寸和边缘曲率两个因素的选择性搜索算法，以近100%的准确率实现了缺陷定位，避免了漏检和误检。在目标分类步骤中，构建了各层结构相似、均匀分布的CNN，用以对孔洞、气孔、线形缺陷、高密度夹杂和铸件结构五类子图像进行分类，且获得了近90%的分类准确率。该两阶段的方法实现了典型缺陷的精确定位和识别，具有重要的研究意义和工程价值。

综上所述，现有的针对铸件缺陷定位检测任务的研究更多的是基于图像底层信息开展的，受铸件缺陷图像数量和GPU等硬件的限制，大数据驱动的基于深度学习的方法还未能直接应用于高分辨率铸件X射线图像（如分辨率2000×2000及以上）缺陷检测定位任务，但基于深度学习的方法已经被证明具有更强的鲁棒性和更高的精度，是未来重要的研究方向之一。

2 铸件缺陷分类识别研究进展

铸件缺陷分类识别将图像内的铸件缺陷划分为某一类别（如气孔、缩松、夹杂等）。分类识别与定位检测共同为基于X射线图像的铸件质量智能化诊断提供决策信息。在2017年之前，铸件缺陷图像的分类识别主要采用人工设计特征与机器学习模型实现，因此2017年之前的研究多聚焦于铸件X射线图像特征设计；2017年后更多的研究成果采用CNN实现铸件缺陷图像的分类识别，因而更关注CNN结构设计与改进。 

本文所调研的最早的关于铸件缺陷图像分类文献发表于2004年，Mery D等针对铝合金铸件X射线图像，利用自组织特征映射图（SOM）来进行特征分层降维，以构建简化的缺陷图像识别模型；经过特征选择和数据降维后，利用自适应模糊神经网络（ANFIS）进行缺陷图像识别。实验表明，仅使用两个特征就获得了良好的识别性能。 

为识别汽车铝合金发动机缸体气孔、缩孔及缩松三类缺陷，Dobrzanski L A等于2007年通过提取缺陷区域面积、横向广义直径、纵向广义直径、马林诺夫斯卡缺陷系数等特征，构建了全连接神经网络MLP训练用数据集，最终实现了三类缺陷的分类。 

近五年的铸件缺陷识别研究多是围绕深度卷积神经网络结构的改进展开。2017年，Mery D等以GDXray数据集为研究对象，评估了包括深度学习、稀疏表示、局部描述符和纹理特征在内的24种计算机视觉技术的缺陷图像识别性能，试验结果表明，使用简单的LBP特征与支持向量机获得的性能最佳：97%的准确率和94%的召回率。其构建的深度神经网络表现不如支持向量机的原因可能在于网络模型过于简单不能充分学到数据集中的模式特征。

2018年，刘浩等针对采集的某种小型精密铸件的缺陷X射线图像（分辨率为227×227）识别问题，以Caffenet为基准，通过减小卷积核尺寸和减少网络卷积层数量，降低模型复杂度的同时，实现了缺陷识别精度的提升。 

上海理工大学的Wang Y等基于VGG16对铝合金铸件X射线图像（分辨率约为448×448，8位图像）缺陷识别问题进行了广泛研究。2020年，Wang Y等还提出了铸件微小缺陷图像识别方法：首先将双线性池化层引入VGG16构建了类型识别模块（TCM）以实现图像中缺陷目标级别的聚焦；然后构建了包含深度可卷积分离的缺陷分类模块（DCM），并基于TCM提取的深层特征实现了含有微小缺陷的图像分类。

同年，Wang Y等还提出了一种弱监督的卷积神经网络（如图4所示）将待识别的X射线图像分为有缺陷或无缺陷，该方法以VGG16为主干网络，通过将深层语义特征作为注意力模板引导丢弃输入图像的局部子块以模拟数据增强，并引入“交互通道损失函数”指导模型训练，以较高精度实现了缺陷图像的识别。

图4 具有数据增强模块的弱监督卷积神经网络示意图

2021年，Wang Y等通过去除VGG16第五个模块的最后的下采样层以保留空间信息，对主干网络的输出添加注意力机制，增强了在复杂背景下提取细微特征的能力，最终提升了带有缺陷的汽车铝合金铸件X射线图像的识别精度。 

作为基于注意力机制的深度学习模型，Transformer最初主要用于自然语言处理领域，并表现出了极为强大的表示能力。受此启发，图像处理领域的研究人员提出了如图5所示的视觉Transformer（Vision Transformer，VIT）。与其他深度学习模型（例如CNN和RNN循）相比，VIT在大部分视觉任务中展现出了较强的竞争性，在图像分类、目标检测等任务中甚至超过了CNN。

机理，提出了分层缩松仿真算法；然后通过模拟缩松缺陷形成过程，提出了随时间演进的、基于受控反几何扩散算法的缩松轮廓生成方法；最后利用基于灰度直方图的随机灰度生成算法和伽马灰度变换实现了缩松缺陷图像的灰度生成。然而，该方法所生成的缩松缺陷边缘略显模糊，而且缺陷层次分明，导致生成的缩松图像真实性不足。 

2019年，周洲等针对轮芯缩松缺陷X射线图像样本量小的问题，首先分析了轮芯海绵状缩松缺陷的特征，然后基于轮廓骨架生长技术生成具有随机形状轮廓和大小的海绵状缩松缺陷，并与无缺陷背景图像进行了融合，通过缺陷检测实验证明了生成样本的可用性。此外，周洲等还研究了基于GAN的缺陷图像生成方法，虽然未能取得理想的结果，但证明了GAN在铸件缺陷图像生成中的潜力。 

综上所述，基于数学模型的铸件缺陷图像仿真生成方法在一定程度上能够起到扩充样本的作用，但普遍存在生成类型单一、过度不自然等问题。虽然未见报道基于GAN的方法的高效性，但如果用Wasserstein作为分布间差异的度量同时结合可以估计数据集分布的VAE（变分自编码器），作为无监督模型的GAN应该能够生成大量的更多类型、更逼真的铸件缺陷图像。

5 总结与展望

总结：

1. 现有缺陷检测与识别方法多以简单图像处理结合传统机器学习模型为主，前沿且高效的缺陷定位与分类一体化方法尚未得到普遍应用。

2. 现有研究在检测或识别高分辨X射线图像前往往进行降采样或分块操作，限制了精度的提升，但缺陷智能检测与识别确实已成为提升效率的必要手段。

发展趋势：

1. 铸件缺陷X射线图像集规模海量化。随着航空、航天等领域的发展，在成品率一定的情况下，更多的产量将为数据驱动的高效的缺陷智能检测方法提供更多缺陷数据。

2. 高分辨率铸件X射线图像处理过程整体化。随着GPU等硬件的发展，检测或识别高分辨率铸件X射线图像将不再需要降采样操作，直接将整张高分辨率__图像输入至模型内，简化流程的同时提升精度。

3. 铸件缺陷定位与识别一体化。随着缺陷X射线图像集规模向海量化发展，各类缺陷样本将得到迅速补充，这将推动能够在完成缺陷检测同时进行分类的深度学习模型的研发与应用。

4. 以VIT为代表的高性能计算机视觉前沿方法的应用。随着计算机视觉算法的迅速发展和缺陷X射线图像集规模向海量化发展，需要大规模图像数据集进行训练的基于VIT的方法将助力铸件X射线图像缺陷检测与识别解决方案的性能实现显著提升。