作者：钱斌 宁波云太基智能科技有限公司
随着工业生产朝着高度智能化的方向发展，对工业自动化程度提出了更高的要求和标准。机器视觉技术与人工智能技术的出现与普及，使得工业生产中的产品质量检测变得更加自动化、信息化与智能化。深度学习是人工智能应用的关键技术，宁波云太基智能科技有限公司提供的BDD-001缺陷检测系统，突破性地采用了深度学习的方法，应用到轴承表面不同缺陷类型的识别中，取得了良好的检测准确率。本文重点介绍针对轴承表面的不同缺陷类型，利用深度学习技术进行识别的优势、步骤与技术要点。宁波云太基智能科技有限公司提供的BDD-001缺陷检测系统基于卷积神经网络，采用基于YOLOv5目标检测的缺陷检测方法，合格判断准确率达到99%以上，分类准确率达到了98%以上。本系统将基于YOLOv5目标检测模型的方法应用到缺陷检测设备上，并与目前较多使用的传统图像处理方法进行对比，结果表明轴承表面合格的检测准确率要大幅领先于传统图像处理方法，该基于深度学习技术的轴承缺陷检测系统能够取代人工检测，提高了检测效率与准确率，具有实际的工程应用价值。通过大量的生产实例发现，轴承表面的缺陷主要以凹坑、划痕等为主，缺陷的大小、深度与分布位置都是随机的。凹坑和严重的划痕可直接通过目测或触检识别，其他轻微的缺陷则需要侧光辨别。常用的接触式方式检测难度大、效率低。
将视觉检测技术应用于轴承表面的缺陷检测中，具备其特有的优势：（1） 可以弥补人工目测可靠性与稳定性不足的问题，而且检测效果是可预测的。（2） 高质量的视觉检测系统完全可以代替经验丰富的工人，以降低企业成本。（3） 在设备投入使用后，如果要识别新的类别的缺陷，只要进行扩展学习，系统就可以做到扩展识别，不必再次开发。（4） 对于新的需识别缺陷的工件型号，只需要进行迁移学习，就可以很快投入到新型号的缺陷识别中。（5） 图形计算上，具备一次性整体识别缺陷功能，而不是一个个地去识别各类缺陷，因而速度快于普通图像处理算法。对于复杂变形的工件，深度学习算法的精度也高于普通图像处理算法。
在机器学习中，为了实现精确分类，必须进行大样本的缺陷分类学习。一般而言，每类样本，需要提供存在较大差异的20个以上样本图像。然后利用YOLOv5的Mosaic数据增强算法。该算法可以在每次图像输入时，自动对图像进行变形，根据随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果还是很不错的。相当于根据一张图像，变形出许许多多的图像，从而达到学习的广泛性。因此我们没必要去准备海量的图像，以应对机器学习的大样本覆盖。但在样本准备上，一定要注意各类缺陷各种情况的覆盖，并且要注意各样本要有差异，否则就没有输入的必要。为此我们开发了一整套的工具，进行图像标注。如果图像标注有问题，后面的结果就一定有问题，所以图像标注要求决不能有判断错误。
为了增加深度学习中的可辨识度，进行图像预处理是一步非常关键的步骤。机器视觉技术的核心即数字图像处理技术，包括图像增强、图像平滑、图像分割、边缘提取等知识，亦趋于成熟，为更高精密的视觉检测提供了理论支持。利用上述技术处理后的原始图像，质量显著提高，特征区域的辨识度得到明显增强。这些进步都将有利于后续的分析、处理、检测和识别。在使用深度学习算法进行图像处理前，进行图像预处理，更有利于提升识别率。主要的预处理算法有各种滤波算法与阈值分割提取算法，常用的滤波算法有中值滤波、均值滤波、高斯滤波等。阈值分割提取算法现有的自适应阈值分割算法主要有四类，分别为迭代法、OTSU（最大类间方差）法、最大熵法、最小误差法。各种算法差别不大，主要是衡量性能与速度。一次缺陷识别中，甚至可能应用到多种滤波算法与多种阈值分割。预处理后的图像，往往已经与原始图像完全不相同，甚至人眼都已经无法分辨出待识别工件的样子。但图像的特征一定是更明显的，尤其是在常见的缺陷部位，需做一些特殊的处理。
2020年6月10日YOLO之父Joseph Redmon发布了YOLOv5，所以这是一个很新的技术。在此之前我们使用的是YOLOv3、YOLOv4版本的模型，相比之下YOLOv5的速度与识别准确度又进一步提高，YOLOv5的速度非常快，有多个轻量级的模型。YOLOv5的表现要优于谷歌开源的目标检测框架EfficientDet，它的模型结构如下图所示。
检测网络有多个版本，依次为 YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s。其中YOLOv5s 是深度和特征图宽度均最小的网络，另外三种可以认为是在其基础上，进行了加深、加宽。YOLOv4 与YOLOv5 在结构上基本相似，只是在细节上稍有差异。YOLOv5的算法特点有：
Focus结构的核心是对图片进行切片操作。以一个的简单的3 x4 x4输入图片为例。对于红色的区域，不论宽还是高，都从0开始，每隔两个步长取值；黄色的区域，不论宽还是高，都从1开始，每隔两个步长取值；以此类推，对三个通道都采取这样的切片操作。最后将所有的切片，按照通道concat在一起，得到一个12x2 x2的特征图。YOLOv5s以3 x608 x608的图片作为输入，经过切片操作后，变成12 x304x304的特征图，最后使用32个卷积核进行一次卷积，变成32 x304 x304的特征图。
YOLOv4中仅在Backbone中使用了CSP结构，而YOLOv5中在Backbone和Neck中使用了两种不同的CSP。在Backbone中，使用带有残差结构的CSP1_X，因为Backbone网络较深，残差结构的加入使得层和层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。在Neck中使用CSP2_X，相对于单纯的CBL将主干网络的输出分成了两个分支，后将其 concat，使网络对特征的融合能力得到加强，保留了更丰富的特征信息。YOLOv5模型，根据卷积深度，分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其所含的残差结构的个数依次增多，网络的特征提取、融合能力不断加强，检测精度得到提高，但相应的时间花费也在增加。具体选择哪一个模型，需要根据识别速度需求与GPU内存限制来选择。YOLOv5四种网络结构差异如下表所示。
五、 轴承的模式识别与分类通过YOLOv5的识别，对某一型号的轴承外表面，处理11种轴承环表面的缺陷。识别效果良好。举例如下：
在识别的过程中，系统先判断一次良品与否，识别采用图像差值运算，即比较预处理位置校准后的输入图像与标准图像的差值。主要区域，如果差值在一定范围内，则认为是良品。其次比较周边区域，识别出毛剌、毛丝。再次对初次判断的次品，进行分类，以YOLOv5模型进行识别。最终仍可分为良品，与无法判断两种。对于无法判断的图像，需要手动处理。如果存在新的缺陷类别，或需要将无法判断的图像归入到原有类别中，可以进行补充增强学习。一般而言这种增强学习，会在系统初次调试时，反复进行补充学习。一个制造企业一定会存在很多的产品规格，而缺陷的种类基本相同。基于深度学习的缺陷检测系统，具备的最大优势是不需要针对不同的产品规格，重新开发。而只需要利用系统提供的深度学习模型迁移工具，进行几次再学习，就可以完成不同规格产品的缺陷识别。这种迁移学习，一般而言也需要经过多次的调试，多次的模型增强，最后生成识别率较高的模型。
七、 缺陷样本的云共享
对于任何检测与分类方法来说，足够数量的样本都是实现这些算法的前提。目前来说，由于工艺流程的改进，缺陷率已经较低并且缺陷样本种类不丰富，导致缺陷样本的收集十分困难。因此可使用云端储存的技术，把缺陷图像采集并集中管理，同行业的企业共享数据，实现缺陷样本的高效采集，互利共赢。缺陷样本的云共享让企业可以一起进行类似图像的采集，样本数量不断积累能够更好的将深度学习中许多方法运用到缺陷检测与分类中。
八、 总结
轴承素有“工业关节”之美称，轴承套圈是组成轴承的基础零部件，宁波云太基智能科技有限公司对轴承套圈外观缺陷视觉检测进行了深入的研究，形成了稳定、高速、高识别率的检测系统，愿与更多的轴承企业携手共同发展，向着更高的识别率、更快的速度、更稳定的性能前进。（作者简介：钱斌，北京邮电大学硕士，教授级高工，江苏省人工智能专家库成员，人工人智能算法专家，曾任苏州大学应用技术学院人工智能研究院院长，现任宁波云太基智能科技有限公司CTO）