科技新进展：基于AI与物联网技术的智能质检系统

研究的背景与问题

　　近年来，随着经济的稳定增长和城镇化进程的加速，我国涂镀板市场得到了快速发展。然而，在家电行业的涂镀板生产中，质量检测主要依赖人工目视，这导致了一系列问题，包括检测标准不一、劳动强度大以及易错漏等。此外，检验台位于生产末端，使得连续性缺陷无法及时发现，增加了质量事故的风险。在裁切过程中，尽管使用了横剪机，但对定尺裁切的涂镀板仍需人工检测，处理不良品不及时，导致浪费和成本增加。

解决问题的思路与技术方案

　　为了解决上述问题，河钢数字技术股份有限公司开发了一套结合AI和物联网的智能质检系统，用于涂镀行业的全流程产品缺陷管控。该系统利用电磁辐射模式探测并分析涂镀板图像，提供缺陷分类和智能裁切决策支持。关键技术包括基于FPGA+DSP+CPU的图像处理平台和人工智能算法，实现快速、高效、精准的表面缺陷检测。该系统成本低、适应性强，支持数据共享和追溯，并能与生产线系统对接，形成闭环生产控制，具有广泛的应用价值。

系统架构与关键技术

　　该系统由成像、电气、计算机、软件和机械设备构成。成像系统利用高速工业相机和光源连续扫描涂镀板表面，生成清晰图像。这些图像无论是否含有缺陷，都会传输到异构计算单元进行处理。处理算法会筛选掉无缺陷背景图像，对含缺陷图像进行分割和特征提取。通过三个核心算法——多有效区域提取、多模型自适应缺陷分割、多模态融合缺陷分类分级——系统能快速、高效、准确地检测涂镀板表面缺陷，并通过计算机系统展示和存储相关信息。

关键技术及建设内容

1. 涂镀板智能算法

   • 基于人工智能技术的算法模型设计：本研究开发了一种基于深度学习的涂镀板表面缺陷检测技术，采用神经网络算法实现快速、高效、精确的检测。系统通过优化的图像处理算法，在高速运动中检测带钢，并在18微秒内完成图像采集、边缘检测和目标检测。疑似缺陷图像经过存储、分割、特征提取、分类和后处理等步骤，利用基于原始图像的灰度分布模型和多种图像处理技术，准确识别表面缺陷。
   • 多轴像素空间分布模型：通过对图像不同坐标轴方向进行色彩空间与灰度值直方图统计，构建灰度共现矩阵。从而建立图像内不同特征区域的灰度分布模型，以此模型为基准，分离出图像内有效特征区域与背景区域。
   • 边缘特征像素级坐标定位：通过分割图像并计算梯度，提取边缘特征。利用这些特征，建立像素级坐标系，进而精确计算纹理特征坐标，实现对检测区域的纹理特征进行像素级分割。
   • 有效区域内的特征向量提取：分割得到有效区域内的像素级纹理特征后，需要对该纹理特征进行特征向量计算。通过对特征向量的抽取，将缺陷特征转换为n维特征向量表达，该特征向量用于后续分类以及模型构建。

2. 多模型自适应缺陷分割技术

   • 涂镀板颜色纹路感知模型：为提高识别效率，使用轻量级Mobile-Net模型。它基于深度可分离卷积神经网络，有效减少计算量。在保持精度的前提下，进一步采用MobileNetV3-small模型，结合了前代模型的优点和轻量级注意力机制，使用h-swish函数，实现快速准确识别涂镀板颜色纹路。
   • 基于PaDiM的无监督缺陷分割模型：为提高检测精度，采用PaDiM无监督学习方法。PaDiM采用预训练CNN提取特征，每个patch位置用多元高斯分布描述，考虑CNN不同语义层关联。它在检测涂镀板缺陷时具有低时间空间复杂度且不受训练集大小影响，适合实时检测。

3. 多模态融合缺陷分类分级模型

   • 残差网络缺陷分类模型：残差网络通过引入residual结构有效提升了网络深度并解决了深层网络退化问题。残差分类网络通过多层残差结构自动提取图像中缺陷的轮廓、大小、形状等特征。构建出缺陷类别的特征向量空间实现对缺陷快速准确的分类。
   • 卷积神经网络缺陷分级模型：通过残差网络分类模型得到的类别特征作为第二级深度神经网络的输入。该网络会对长度、尺寸、形状等特征信息进行多尺度融合。卷积神经网络具有局部感受区域、特征提取与分类结合的全局训练特点对图像的局部区域特征有非常准确的识别能力。在第二级的深度神经网络中使用多层卷积神经网络构建了缺陷分级模型分级模型将对一级网络检出的各类缺陷进行等级分类。

基于FPGA+DSP+CPU的图像采集技术

　　目前工控机和图像采集卡主要作为ADC使用大部分图像处理工作在服务器中完成。主流品牌产品仅支持有限数量的工业相机接入导致需要多张采集卡和工控机协同工作增加了成本。传统方案还需要额外的机柜或机房空间对于未预留安装空间的产线不适用因此开发了基于FPGA、DSP和ARM架构CPU的图像采集卡支持4路Camera-link接口和多种数字信号输入输出该采集卡通过PCIe总线与工控机或嵌入式设备通信性价比高。还开发了图像预处理算法包括lut、gamma校正、直方图处理、位偏移、Bayer解码等支持图像缩放、ROI截取、拼接、几何校正和镜像以在边缘端优化图像处理提升结果时效性。

成像技术

1. 光路设计：光路是指光源入射角度与工业相机拍摄角度的配置它影响不同缺陷的信号强度。由于设备安装后光路不可更改其精确度直接影响缺陷检测效果因此必须根据应用需求和缺陷类型设计合适的光路对于穿透性缺陷透射光路是理想的成像方式因为它能通过缺陷部分的透光性与背景形成鲜明对比便于图像处理和识别工业相机与光源对射采用散射光源确保光线穿透孔洞缺陷同时衍射效应可放大光斑提升检测精度。
2. 分辨率设计：工业相机分辨率为4096×1像素如果覆盖500mm横向视野和0.125mm纵向视野系统横向分辨率=500mm/4096pixel=0.125mm/pixel（去除重叠像素）系统纵向分辨率=0.125mm/1pixel=0.125mm/pixel若缺陷像素太少软件无法检出；分辨率过低则可能检测到无害伪缺陷最小缺陷大小决定系统分辨率进而影响工业相机数量和系统规模。

主要创新性成果

1. 基于深度学习和自适应多模型的涂镀板表面缺陷分割技术：本技术通过多模型自适应构建缺陷分割模型减少纹路和颜色干扰实现快速准确分割涂镀板缺陷。首先利用图像的灰度分布构建模型快速分割有效区域并提取边缘坐标；其次使用MobileNetv3模型感知颜色和纹路调整无监督分割模型实现对涂镀板缺陷的快速准确分割。
2. 基于多模态融合的涂镀板表面缺陷分类分级技术：本技术提出多模态融合的涂镀板表面缺陷分类分级模型首先利用残差网络构建缺陷分类模型分类模型可自动提取缺陷的特征构建缺陷类别的特征空间；然后再融合缺陷长度、大小、形状等特征信息利用神经网络构建缺陷分级模型可输出不同缺陷的不同等级。

应用情况与效果

　　目前该系统已在邯郸钢铁集团衡水板业包装材料科技有限公司青岛新材料科技有限公司等多家多条产线应用。该技术板材AI识别缺陷算法对高速扫描相机抓拍的钢卷生产表面扫描图像进行扫描识别自动检出的缺陷、分类、分级结合喷码定位系统生成对每个钢卷的缺陷质量地图。系统对划伤、麻点、漆渣、漏涂、严重硌伤等常见缺陷检出率不低于98%分级分类准确率不低于99%检测结果输出速度不大于1秒并且算法识别输出结果与人工复检识别结果一致率99%以上识别数量2000米钢卷算法识别输出结果与人工复检识别结果一致率99%以上人工成本减少检验人员从24名减至12名每年节省人工成本100万元经济效益提升不良率从4%降至3%减少不良品995吨年增效业绩约497.5万元通过研发基于AI与物联网技术的智能质检系统能带来良好的社会效益变革涂镀板检验模式减少能源使用填补行业技术空白树立行业标杆。