产品表面检测方法与流程
admin
2022-11-26 09:48:59
0次
该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
1.本发明是关于视觉图像处理领域，特别是关于一种产品表面检测方法及应用。
背景技术：
2.在工业场景下，高效、稳定的质量检测是产品制造流程的重要环节。质量检测的速度与精度会直接影响流水线产能以及产品的最终品质。产品表面有无缺陷是衡量产品是否满足工业质量要求的重要依据。在工业生产制造过程中，对产品表面进行缺陷检测大都是通过人工质检来完成，但人工检测方法需要高昂的人力成本，且存在较高的误检率和漏检率，满足不了实时检测的需求。
3.为适应当今制造业信息化、智能化的趋势，在生产环节上需要摆脱传统人力手工对产能和效率的束缚。目前基于机器视觉的缺陷检测方法可分为两类：一类是基于传统机器视觉的产品表面缺陷检测方法通过图像处理的方式对缺陷特征进行选择与提取；另一类是近些年兴起的，利用深度学习的方法对产品表面缺陷进行检测。传统方法对于简单场景下的检测具有检测效率高，过程可控等优点，但对于复杂场景，其特征提取复杂，算法鲁棒性差；基于深度学习的缺陷检测方法，对于复杂场景下的检测具有较好的效果，但其过于依赖数据集，检测结果不易控制，实际生产中出现问题时，不能及时修复，因此很难在实际场景下落地。
4.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现要素：
5.本发明的目的在于提供一种产品表面检测方法，其能够有效缓解传统方法和深度学习模型单一使用时的缺点。
6.为实现上述目的，本发明的实施例提供了一种产品表面检测方法，包括如下步骤：获取产品表面图像并进行预处理；利用深度学习模型将预处理后的图像进行检测并提取缺陷区域；利用传统算法提取所述缺陷区域的局部特征，并对所述局部特征进行二次分析，若该局部特征判定为ok区域，则将该缺陷区域信息传输至深度学习模型。
7.在本发明的一个或多个实施方式中，若该局部特征判定为ng区域，则将该缺陷区域信息直接输出，且判定所述产品为不合格产品。
8.在本发明的一个或多个实施方式中，所述获取产品表面图像的方法包括：
9.利用工业相机采集单组产品图像或利用不同光源采集多组产品图像。
10.在本发明的一个或多个实施方式中，所述产品图像预处理的方法包括：对产品表面图像进行背景部分和产品部分的识别，提取产品表面图像中产品部分，对产品部分图像进行二值化处理，提取白色像素后得到产品部分的像素点，获得产品部分的像素坐标。
11.在本发明的一个或多个实施方式中，所述深度学习模型包括：r-cnn算法、spp-net算法、fast r-cnn算法、r-fcn算法或yolo算法。
12.在本发明的一个或多个实施方式中，所述提取缺陷区域的局部特征的方法包括：将缺陷区域分割为多个局部特征，利用传统算法对各个局部特征进行检测。
13.在本发明的一个或多个实施方式中，所述传统算法包括：利用sobel算子、cany算法、laplace算法或frei-chen算法对局部特征中的边缘特征进行检测；利用blob图像处理技术对局部特征中的形态学特征进行检测。
14.在本发明的一个或多个实施方式中，所述传统算法还包括利用灰度直方图统计计算局部特征中的灰度分布特征。
15.本发明的另一方面还提供了一种电子设备，该电子设备包括至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行所述的产品表面检测方法。
16.本发明的另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的产品表面检测方法的步骤。
17.与现有技术相比，根据本发明实施方式的产品表面检测方法，结合了深度学习模型与传统算法的优势，具有以下优点：
18.1、利用深度学习对缺陷区域进行预提取，相比于传统方法，对于复杂场景下的适应性更好，缺陷检测准确率更高，同时随着数据集的增加，模型的鲁棒性也会逐渐提高。
19.2、相比于深度学习方法，本发明利用传统算法对缺陷区域的局部信息进行二次分析。对于局部缺陷区域，其背景纹理信息的复杂度大幅度降低。在简单场景下，使用传统方法对缺陷区域进行二次分析，能够有效降低缺陷的误判率，提升算法的鲁棒性。
20.3、利用传统算法对局部信息的二次判定，反馈到深度学习算法，对算法模型进行在线训练和更新。相比于过往人工对数据集标注，极大提升了数据的利用率，提高了训练效率，同时在线自动训练，对于生产问题解决时效性大幅提升。
附图说明
21.图1是根据本发明一实施方式的产品表面检测方法的流程示意图。
具体实施方式
22.下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
23.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
24.根据本发明优选实施方式的一种产品表面检测方法，包括如下步骤：
25.s1、获取产品表面图像并进行预处理；
26.所述获取产品表面图像的方法包括利用工业相机采集单组产品图像或利用不同光源采集多组产品图像。
27.产品图像预处理的方法包括对产品表面图像进行背景部分和产品部分的识别，提取产品表面图像中产品部分，对产品部分图像进行二值化处理，提取白色像素后得到产品
部分的像素点，获得产品部分的像素坐标。
28.s2、利用深度学习模型将预处理后的图像进行检测并提取缺陷区域；
29.深度学习模型包括r-cnn算法、spp-net算法、fast r-cnn算法、r-fcn算法或yolo算法。
30.s3、利用传统算法提取缺陷区域的局部特征，并对所述局部特征进行二次分析，若该局部特征判定为ok区域，则将该缺陷区域信息传输至深度学习模型。
31.s4、若该局部特征判定为ng区域，则将该缺陷区域信息直接输出。
32.在一实施方式中，提取缺陷区域的局部特征的方法包括将缺陷区域分割为多个局部特征，利用传统算法对各个局部特征进行检测。传统算法包括利用sobel算子、cany算法、laplace算法或frei-chen算法对局部特征中的边缘特征进行检测。具体的，包括检测边缘特征的边缘一阶或二阶梯度方向，一阶或二阶导数幅值；用blob图像处理技术对局部特征中的形态学特征进行检测，具体的，对局部特征如长度、宽度、面积或圆形度进行检测。或利用灰度直方图统计计算局部特征中的灰度分布特征。具体的，检测缺陷区域内的灰度分布方差、能量以及熵等特征信息。当判定上述检测数值在设定值内时，则将该数值传输至深度学习模型数据库内，用于对深度学习模型数据库进行补充和修正；当判定上述检测数值超过设定值时，则作为残缺特征将该局部特征信息输出并记录。
33.本发明的一个实施例还提供了一种电子设备，该电子设备包括至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的产品表面检测方法。
34.本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的产品表面检测方法的步骤。
35.根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
36.综上所述，本发明的一种产品表面检测方法，有效结合了深度学习模型与传统算法的优点，避免了深度学习模型和传统算法单一使用时的缺点，对于多数工业场景，都能实现高检测效率、高稳定性、高检出率以及低误检率。
37.前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
1.本发明是关于视觉图像处理领域，特别是关于一种产品表面检测方法及应用。
背景技术：
2.在工业场景下，高效、稳定的质量检测是产品制造流程的重要环节。质量检测的速度与精度会直接影响流水线产能以及产品的最终品质。产品表面有无缺陷是衡量产品是否满足工业质量要求的重要依据。在工业生产制造过程中，对产品表面进行缺陷检测大都是通过人工质检来完成，但人工检测方法需要高昂的人力成本，且存在较高的误检率和漏检率，满足不了实时检测的需求。
3.为适应当今制造业信息化、智能化的趋势，在生产环节上需要摆脱传统人力手工对产能和效率的束缚。目前基于机器视觉的缺陷检测方法可分为两类：一类是基于传统机器视觉的产品表面缺陷检测方法通过图像处理的方式对缺陷特征进行选择与提取；另一类是近些年兴起的，利用深度学习的方法对产品表面缺陷进行检测。传统方法对于简单场景下的检测具有检测效率高，过程可控等优点，但对于复杂场景，其特征提取复杂，算法鲁棒性差；基于深度学习的缺陷检测方法，对于复杂场景下的检测具有较好的效果，但其过于依赖数据集，检测结果不易控制，实际生产中出现问题时，不能及时修复，因此很难在实际场景下落地。
4.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现要素：
5.本发明的目的在于提供一种产品表面检测方法，其能够有效缓解传统方法和深度学习模型单一使用时的缺点。
6.为实现上述目的，本发明的实施例提供了一种产品表面检测方法，包括如下步骤：获取产品表面图像并进行预处理；利用深度学习模型将预处理后的图像进行检测并提取缺陷区域；利用传统算法提取所述缺陷区域的局部特征，并对所述局部特征进行二次分析，若该局部特征判定为ok区域，则将该缺陷区域信息传输至深度学习模型。
7.在本发明的一个或多个实施方式中，若该局部特征判定为ng区域，则将该缺陷区域信息直接输出，且判定所述产品为不合格产品。
8.在本发明的一个或多个实施方式中，所述获取产品表面图像的方法包括：
9.利用工业相机采集单组产品图像或利用不同光源采集多组产品图像。
10.在本发明的一个或多个实施方式中，所述产品图像预处理的方法包括：对产品表面图像进行背景部分和产品部分的识别，提取产品表面图像中产品部分，对产品部分图像进行二值化处理，提取白色像素后得到产品部分的像素点，获得产品部分的像素坐标。
11.在本发明的一个或多个实施方式中，所述深度学习模型包括：r-cnn算法、spp-net算法、fast r-cnn算法、r-fcn算法或yolo算法。
12.在本发明的一个或多个实施方式中，所述提取缺陷区域的局部特征的方法包括：将缺陷区域分割为多个局部特征，利用传统算法对各个局部特征进行检测。
13.在本发明的一个或多个实施方式中，所述传统算法包括：利用sobel算子、cany算法、laplace算法或frei-chen算法对局部特征中的边缘特征进行检测；利用blob图像处理技术对局部特征中的形态学特征进行检测。
14.在本发明的一个或多个实施方式中，所述传统算法还包括利用灰度直方图统计计算局部特征中的灰度分布特征。
15.本发明的另一方面还提供了一种电子设备，该电子设备包括至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行所述的产品表面检测方法。
16.本发明的另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的产品表面检测方法的步骤。
17.与现有技术相比，根据本发明实施方式的产品表面检测方法，结合了深度学习模型与传统算法的优势，具有以下优点：
18.1、利用深度学习对缺陷区域进行预提取，相比于传统方法，对于复杂场景下的适应性更好，缺陷检测准确率更高，同时随着数据集的增加，模型的鲁棒性也会逐渐提高。
19.2、相比于深度学习方法，本发明利用传统算法对缺陷区域的局部信息进行二次分析。对于局部缺陷区域，其背景纹理信息的复杂度大幅度降低。在简单场景下，使用传统方法对缺陷区域进行二次分析，能够有效降低缺陷的误判率，提升算法的鲁棒性。
20.3、利用传统算法对局部信息的二次判定，反馈到深度学习算法，对算法模型进行在线训练和更新。相比于过往人工对数据集标注，极大提升了数据的利用率，提高了训练效率，同时在线自动训练，对于生产问题解决时效性大幅提升。
附图说明
21.图1是根据本发明一实施方式的产品表面检测方法的流程示意图。
具体实施方式
22.下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
23.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
24.根据本发明优选实施方式的一种产品表面检测方法，包括如下步骤：
25.s1、获取产品表面图像并进行预处理；
26.所述获取产品表面图像的方法包括利用工业相机采集单组产品图像或利用不同光源采集多组产品图像。
27.产品图像预处理的方法包括对产品表面图像进行背景部分和产品部分的识别，提取产品表面图像中产品部分，对产品部分图像进行二值化处理，提取白色像素后得到产品
部分的像素点，获得产品部分的像素坐标。
28.s2、利用深度学习模型将预处理后的图像进行检测并提取缺陷区域；
29.深度学习模型包括r-cnn算法、spp-net算法、fast r-cnn算法、r-fcn算法或yolo算法。
30.s3、利用传统算法提取缺陷区域的局部特征，并对所述局部特征进行二次分析，若该局部特征判定为ok区域，则将该缺陷区域信息传输至深度学习模型。
31.s4、若该局部特征判定为ng区域，则将该缺陷区域信息直接输出。
32.在一实施方式中，提取缺陷区域的局部特征的方法包括将缺陷区域分割为多个局部特征，利用传统算法对各个局部特征进行检测。传统算法包括利用sobel算子、cany算法、laplace算法或frei-chen算法对局部特征中的边缘特征进行检测。具体的，包括检测边缘特征的边缘一阶或二阶梯度方向，一阶或二阶导数幅值；用blob图像处理技术对局部特征中的形态学特征进行检测，具体的，对局部特征如长度、宽度、面积或圆形度进行检测。或利用灰度直方图统计计算局部特征中的灰度分布特征。具体的，检测缺陷区域内的灰度分布方差、能量以及熵等特征信息。当判定上述检测数值在设定值内时，则将该数值传输至深度学习模型数据库内，用于对深度学习模型数据库进行补充和修正；当判定上述检测数值超过设定值时，则作为残缺特征将该局部特征信息输出并记录。
33.本发明的一个实施例还提供了一种电子设备，该电子设备包括至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的产品表面检测方法。
34.本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的产品表面检测方法的步骤。
35.根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
36.综上所述，本发明的一种产品表面检测方法，有效结合了深度学习模型与传统算法的优点，避免了深度学习模型和传统算法单一使用时的缺点，对于多数工业场景，都能实现高检测效率、高稳定性、高检出率以及低误检率。
37.前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
