一、引言在电子产品生产线上电路板元件的缺失检测是一个常见需求。然而对于小批量、多品种的生产模式传统方法面临诸多挑战没有CAD文件无法获得元件精确坐标不同品种电路板布局差异大难以用固定模板拍摄角度、光照、方向不一致导致传统图像配准失败产线要求快速部署无法为每个品种收集大量标注数据。本文记录了我从零开始结合YOLO目标检测、透视变换与GUI开发最终实现了一套稳定的电路板大元件缺失检测系统。整个过程充满试错与优化希望为遇到类似问题的读者提供参考。二、问题定义与约束检测目标电路板上的指定大元件插座、电感、大电容、屏蔽罩、支架IC等只关心是否存在不区分具体类型。生产特点小批量多品种每个品种产量少无法为每个品种单独训练模型。图像采集摄像头拍照电路板摆放方向可能有0°、90°、180°变化且有±15°小角度偏差光照、对比度会不一致有差别。数据情况初始只有31张图后扩充至81张再增加至115张包含三个电路板品种。标注成本希望最小化标注工作量。三、技术路线探索与迭代3.1 尝试一纯YOLO目标检测区分元件类型最初我们使用YOLOv8n训练一个多类别检测模型识别插座、电感、电容等5类元件。但遇到两个痛点斜向标注引入背景噪声当电路板旋转45°时用水平矩形框住斜向元件会包含大量背景模型学到的是“元件背景”的混合特征导致在正常角度下误检。小样本过拟合早期只有31张图模型在训练集上mAP很高0.995但对新图片泛化差白色插座经常漏检。3.2 尝试二模板匹配 差异检测我们尝试将标准模板与待检图进行配准然后逐像素比较ROI区域。但电路板旋转、缩放、透视变形导致SIFT/ORB特征匹配失败即使加入RANSAC也无法稳定对齐。结论传统配准对光照和角度变化过于敏感不适合产线环境。3.3 尝试三深度学习 透视校正最终方案核心思路不改变检测图像只将模板ROI通过单应性矩阵映射到检测图像坐标系然后与全局元件检测结果比对。这样既利用了深度学习的鲁棒性又避免了对图像进行几何变换导致的精度损失。整体流程使用YOLOv8训练两个模型PCB检测模型定位图像中所有电路板的矩形框单类别pcb。元件检测模型检测所有元件单类别component。对每一块电路板裁剪该板区域外扩30像素用于计算单应性矩阵。使用ORB特征 RANSAC计算从模板电路板到该裁剪区域的单应性矩阵H。将模板上预定义的ROI感兴趣区域通过H变换到裁剪区域坐标系再转换回原图坐标。检查全局元件检测框中是否有中心点落在扩展后的ROI内否则判定为缺失。多电路板处理对每个检测到的PCB独立执行上述步骤。可视化在原图上绘制电路板框彩色、映射后的ROI蓝色、元件检测框黄色并输出缺失报告。四、关键技术细节4.1 数据标注与模型训练统一为单类别component将所有需要检测的元件插座、电感、电容、屏蔽罩等标注为同一类避免类别不平衡和特征混淆。数据增强对小样本数据进行离线增强亮度、对比度、小角度旋转、高斯噪声扩充训练集。训练参数使用yolov8n.pt预训练权重输入尺寸640×640学习率0.01训练150轮开启早停。4.2 单应性矩阵计算关键pythondef compute_homography(template_board, detected_patch): # 灰度化 CLAHE增强对比度 gray_t cv2.cvtColor(template_board, cv2.COLOR_BGR2GRAY) gray_p cv2.cvtColor(detected_patch, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) gray_t clahe.apply(gray_t) gray_p clahe.apply(gray_p) # ORB特征提取与匹配 orb cv2.ORB_create(nfeatures2000) kp1, des1 orb.detectAndCompute(gray_t, None) kp2, des2 orb.detectAndCompute(gray_p, None) bf cv2.BFMatcher(cv2.NORM_HAMMING) matches bf.knnMatch(des1, des2, k2) good [m for m, n in matches if m.distance 0.75 * n.distance] if len(good) 10: return None src_pts np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2) H, _ cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) return H注意src_pts是模板图像点dst_pts是检测图像点因此H满足检测图像点 H * 模板图像点。映射ROI时直接使用H不要取逆。4.3 畸变检查与降级当透视变换导致面积畸变过大时自动降级为相似变换python# 检查畸变程度 pts np.float32([[0,0], [w_p,0], [0,h_p]]).reshape(-1,1,2) transformed cv2.perspectiveTransform(pts, H) area_orig w_p * h_p area_trans cv2.contourArea(transformed) ratio area_trans / area_orig if ratio 0.3 or ratio 3.0: H try_affine_transform(template_board, patch) # 备用相似变换4.4 多电路板处理与结果可视化对每个PCB板独立计算变换矩阵和ROI映射。将所有板的ROI扩展10像素后只绘制中心点落在这些扩展区域内的元件检测框过滤背景误检。最终图像垂直拼接或直接在原图上叠加标注。五、GUI工具开发基于PyQt5开发了图形界面集成模型加载、图像选择、参数调节、结果显示等功能。主要功能加载模板图像和ROI配置文件JSON格式包含board_rect和rois。加载PCB检测模型和元件检测模型。选择待检测图像一键运行检测。显示检测日志、结果图像彩色PCB框、蓝色ROI、黄色元件框和缺失报告。六、效果与总结6.1 最终效果对115张训练图含多方向、多光照训练后模型在验证集上mAP50达到0.945。能够稳定检测0°、90°、180°方向的电路板对±15°小角度偏差具有鲁棒性。多电路板同时检测准确ROI映射偏差控制在10像素以内。误检主要来自反光强烈的区域可通过增加负样本进一步优化。6.2 经验教训标注统一为单类别在缺失检测场景下区分元件类型不是必需的单类别能极大简化问题。不要变换检测图像透视校正应作用于ROI坐标而非图像本身避免缩放损失。数据多样性 数据量多角度、多光照的31张图比单一角度的200张图更有价值。为每个品种保存模板ROI小批量多品种下手工标注模板ROI一次性比训练泛化模型更高效。6.3 环境依赖bashpip install PyQt5 opencv-python numpy ultralytics torch torchvision建议使用Python 3.9~3.11独立虚拟环境。七、展望当前系统已满足产线初步使用未来可扩展方向增加反光区域的负样本训练降低误检。支持任意角度的透视校正如45°需引入更多样本或使用深度学习配准。将检测结果对接MES系统实现数据追溯。后记整个项目从最初尝试模板匹配到最终落地经历了约2个月的迭代。最大的感悟是工业视觉没有银弹需要根据数据特点和产线约束灵活选择方案。希望本文能帮助读者少走弯路。源码与ROI标注工具可私信获取附详细注释。