4.2 汽车部件工业视觉应用

##### [学习视频](https://b23.tv/76rK508)

##### 学习目标：
- 学会分析工业装配检测项目的需求，提炼出视觉检测的关键目标和难点。
- 掌握综合运用多种视觉技术（测量、存在性检查、缺陷识别）搭建复杂检测系统的方法。
- 提升对于系统实时性和精度的权衡能力，了解在汽车装配检测中保证高准确率和速度的技术手段。

##### 任务成果：
- 完成一个发动机部件装配质量检测系统的方案设计，涵盖硬件选型、软件算法思路和系统架构。
- 针对发动机装配场景中的具体检测要求（尺寸、公差、漏装等）提供解决方案，包括必要的伪代码或流程图说明。
- 列出系统在实际运行中可能遇到的挑战（反光、曲面、节拍要求等）并给出可行的优化或改进建议。

#### 4.2.1 场景任务

##### （1）项目背景

以汽车发动机部件的装配质量检测为场景，我们需要设计一套视觉系统来检查发动机零件在装配后的质量是否达标。请思考以下问题🤔：作为汽车制造厂的质量工程师，你的任务是保证发动机关键部件装配无误、尺寸精度达标。开始设计之前，我们需要明确检测目标与挑战：

![](/media/202505/汽车发动机部件装配_1747293290.jpg)

</center>
1. **需求分析思考**

* Q1: 发动机部件装配质量检测需要关注哪些具体方面？

> 关键尺寸精度（例如孔径、间距是否在公差范围内）
     > 螺钉等紧固件是否全部安装且拧紧到位
     > 各零部件（垫片、插头等）是否缺失或错装

* Q2: 相比人工目视检查，自动化机器视觉检测会遇到哪些困难？

> 金属部件表面反光和复杂曲面，成像光照不均带来干扰
     > 待测特征多且细小，要求很高的分辨率和精度
     > 生产节拍快，系统需要能够实时处理并跟上装配线速度

* Q3: 如何提高系统对装配偏差的检测准确性和效率？

> 采用高分辨率相机和合适光源，提高微小特征成像质量
     > 利用对位治具或标定，减少测量误差，实现亚毫米级精度检测
     > 针对每种部件设计专门的ROI（感兴趣区域）提高算法效率，减少干扰

2. **技术可行性评估**

* Q4: 现有机器视觉技术能否满足上述装配检测需求？

> 大部分尺寸测量、存在性检查可以通过传统视觉或简单算法完成
     > 对于复杂情况（如判断螺钉是否拧紧到扭矩），可能需要借助3D视觉或额外传感器

* Q5: 此项目需要配置哪些硬件设备和软件支持？

> 工业相机（必要时多角度多相机）、精密镜头、可调光源（环形光/同轴光等）
     > 图像采集卡或控制器，高性能工控机用于实时处理
     > 图像处理算法库（用于模板匹配、边缘检测、测量等）和自定义检测程序

* Q6: 生产线节拍对系统响应有何要求？

> 系统应在每个工位限定时间内完成检测，例如每件工件检测需<3秒，以不影响流水线
     > 对连续生产的场景，可能需要流水线式处理架构，在工件移动过程中完成拍照与分析

##### （2）任务拆解

针对上述需求，我们将发动机部件装配质检任务拆解为几个子模块：

```mermaid
graph TD
    A[装配质检需求] --> B[尺寸精度检测]
    A --> C[螺钉拧紧检测]
    A --> D[零件缺失检测]
    A --> E[结果数据管理]
```
<center>
  
![](/media/202505/mermaid_20250520_986461_1747721429.png)
</center>

1. **尺寸精度检测**

* 检测关键部位的尺寸和间距是否符合图纸公差要求
   * 例如：孔径直径、两孔中心距等，公差±0.05 mm，使用高精度标定转换像素距离为物理尺寸
     <图片: 发动机部件关键尺寸与公差示意图>
   * 对比设计标准，超差则判定为不良（尺寸超差可能导致装配不可靠）

2. **螺钉拧紧检测**

* 检查所有要求安装的螺钉是否**存在**且**到位**
   * 通过图像中螺钉头部特征判定：有无缺失螺钉、螺钉是否拧紧（头部是否低于一定高度或角度正确）
     
<center>
     <图片: 螺钉拧紧与未拧紧状态对比图>

![](/media/202505/螺钉拧紧与未拧紧状态对比图_1747293472.png)

</center>

* 可以设定螺钉头部允许的高度偏差阈值，超出则认为未拧紧

3. **零件缺失检测**

* 核对每个装配步骤应有的零件是否都已安装，例如密封垫片、连接器、弹簧等细小部件
     
<center>
 <图片: 发动机装配中零件缺失 (如垫片) 示例>
![](/media/202505/发动机装配中零件缺失%20(如垫片)_1747293732.jpg)

</center>
   * 采用模板匹配或特征比对方法，将当前图像与标准模型比较，发现缺失的部件（缺件会导致图像局部缺少预期的特征）

4. **结果数据管理**

* 记录每件产品的检测结果（通过/不通过）以及具体不良项（哪个尺寸超差，哪个螺钉缺失等）
   * 将结果上传至质量管理数据库，关联产品序列号，实现质量追溯
   * 汇总统计不良发生率，生成报表供工程人员分析改进装配工艺
   * 
<center>
     <图片: 汽车部件装配质检报告示例>
       
![](/media/202505/2025-05-15_152608_2541370.6998569777388456.png)

</center>

上图为**螺钉检测**的场景示例。图中用红色标记出了需要检测的螺钉位置，机器视觉系统能够自动判断每个螺钉是否存在且正确安装到位。通过将检测图像与标准模板进行对比分析，系统可以识别出漏装或未拧紧的螺钉，并将此类装配缺陷记录下来以便维修人员及时处理。

##### （3）测试样品

在实验教学环境中，我们可以准备若干发动机部件的装配样件供测试：

* 样件1：某关键螺钉缺失（故意未安装一个固定螺钉）
  
<center>
  <图片: 测试样品 - 螺钉缺失的发动机部件>

![](/media/202505/384805_1747295192.jpg)

</center>
* 样件2：螺钉位置齐全但其中一颗未拧紧（螺钉头部明显高出正常位置）
  
<center>
  <图片: 测试样品 - 螺钉未拧紧的发动机部件>

![](/media/202505/OIP-C_1747295309.jpg)

</center>
* 样件3：缺少一个垫片零件（装配时遗漏了某个密封垫）

![](/media/202505/R-C_1747295077.jpg)

</center>
* 样件4：某两孔间距超出公差（部件加工或装配偏差导致尺寸不合格）
  
<center>
  <图片: 测试样品 - 孔间距超差的发动机部件>

![](/media/202505/R-C_1747295684.jpg)

</center>
* 样件5：完全合格装配（所有螺钉及零件齐全，尺寸精度满足要求）

![](/media/202505/0764jpg_wh860_1747295741.png)

</center>
通过上述不同情况的样品测试，我们可以验证视觉系统对各种装配缺陷的检测能力，并据此调整算法参数（如阈值)以提高检测的可靠性。

#### 4.2.2 技能拼接

要构建汽车发动机部件装配检测系统，我们需要综合运用第三章学习的多个技能模块，并进行针对性的优化。以下从**图像采集、装配识别、误差分析**三方面介绍系统搭建思路，并给出部分伪代码和优化提示：

* **图像采集与硬件部署**：根据待检部件的形状和特征，选择合适的相机和镜头配置。如果一个视角无法覆盖所有待检要素，可考虑多相机协同工作（例如一个相机俯视检测整体尺寸，另一个侧视关注螺钉侧面高度）。使用稳定的光源照明，必要时结合环形光和定向光，确保金属部件的关键特征清晰可见而不因反光而丢失。相机触发与产线同步，保证在部件静止或位于检测工位时拍照获取清晰图像。

![](/media/202505/360截图20220315200108766_1747295815.jpg)

</center>
* **装配识别与算法集成**：针对尺寸、螺钉、缺件三个检测目标，可构建独立的算法模块：尺寸测量模块可以利用**边缘检测和亚像素拟合**来精确计算孔径和间距；螺钉检测模块可采用**模板匹配**，在预期螺钉位置寻找螺钉头部特征，并通过灰度或深度判断拧紧程度；零件缺失检测模块可以使用**图像差分**或**特征点匹配**，将当前图像与完好装配的模板进行比较，发现缺失区域。然后将这些模块结果融合，统一判定产品的装配是否合格。

![](/media/202505/89ab987ece934af5b14040d6f08de869_1747295875.png)

</center>
  
  
<center>
  <图片: 螺钉头部模板匹配检测示例>

![](/media/202505/R-C_1747295933.jpg)

</center>

![](/media/202505/c54af16df0b8407582727727eff8aec7(1)_1747296117.png)

</center>
* **误差分析与动态阈值**：在实际应用中，不同批次的零件和环境光照可能引入测量误差和图像变化。因此系统应具备一定的自适应能力。例如，针对尺寸测量，可根据环境温度对公差做动态补偿（温度影响金属尺寸微膨胀）；针对螺钉高度判断，可统计一段时间内正常拧紧螺钉的灰度平均值或高度特征，动态调整判定阈值，使得检测既不漏报也不误报。通过误差分析和动态阈值设置，系统能在保证检测精准度的同时提高对环境变化的鲁棒性。

结合以上考虑，我们拼接各技能模块，形成如下伪代码结构，展示系统主要流程：

```python
# 伪代码：发动机部件装配检测流程
def inspect_assembly(image):
    # 1. 图像预处理
    calibrated_img = calibrate_image(image)         # 几何校正、色彩均衡等预处理
    # 2. 尺寸测量模块
    measurements = measure_critical_dimensions(calibrated_img)
    # 检查尺寸是否在阈值范围内
    for feature, value in measurements.items():
        tol = tolerance[feature]                    # 从设定的公差获取允许偏差
        if abs(value - design_spec[feature]) > tol:
            report_defect(f"{feature}尺寸超差")
    # 3. 螺钉检测模块
    screws = locate_screws(calibrated_img)          # 定位所有螺钉位置
    expected_count = design_spec["screw_count"]
    if len(screws) < expected_count:
        report_defect("螺钉缺失")
    for screw in screws:
        if not check_screw_tightness(screw):
            report_defect(f"螺钉{ screw.id }可能未拧紧")
    # 4. 零件缺失检测模块
    for part, template in required_parts.items():
        if not find_part(template, calibrated_img):
            report_defect(f"{part} 缺失")
    # 5. 输出结果
    if no_defect_found():
        result = "装配合格"
    else:
        result = "装配不良"
    return result
```

![](/media/202505/download_1747296191.webp)

</center>
上述伪代码体现了系统的主要检查逻辑：先对输入图像进行标定和预处理，然后依次执行尺寸检测、螺钉检测和缺件检测三个模块，各模块将发现的问题通过`report_defect`记录。最后汇总判断是否有缺陷。如果检测出问题，系统会将该产品判定为**装配不良**并输出具体原因，否则判定为合格。实际实现中，每个模块可以并行处理以加快速度，并将检测到的缺陷在界面上高亮标注提示操作人员。

**优化提示**：在代码实现时，我们可以采取多种优化策略以提升实时性能和准确率：

* 使用**ROI（Region of Interest）**：在已知螺钉或零件的大致区域范围基础上，仅在这些区域内运行检测算法，可减少无关区域的干扰并加快处理速度。
  <图片: 发动机部件检测中ROI应用示例>
* 引入**并行处理**：如果硬件允许，可利用多线程或GPU并行同时运行不同检测模块（尺寸测量、螺钉识别等），充分利用时间片，提高整体吞吐。
* **光照自适应调整**：增加环境光传感器，根据外界光照变化自动调整相机曝光和光源亮度，保持图像质量一致。
* **结果校验与人工复核机制**：对于检测出的不良，可以设置双相机或重复检测确认，以降低误报风险；对于系统无法确定的边缘情况，自动标记交由人工复核，从而不断完善算法的阈值设定（这也是一种动态优化）。

通过以上技能的灵活拼接与优化，我们能够构建一个针对发动机部件装配的视觉检测系统。在实际教学中，学生可以尝试更改阈值、故意制造一些边界情况等，观察系统行为，从而加深对系统鲁棒性和精度权衡的理解。

#### 4.2.3 能力映射

```mermaid
mindmap
  根节点(发动机部件装配检测所需能力)
    设备操作
      多相机布置与标定
      专用治具与光源安装
      产线信号对接与触发
    图像处理
      模板匹配与特征识别
      边缘检测与精密测量
      3D视觉与高度判断
    系统集成
      多模块算法并行与通信
      检测流程控制与PLC联动
      动态阈值调整策略
      可视化界面与报警
    数据管理
      检测结果数据库记录
      产品追溯编码关联
      统计分析与报告输出
```
<center>
  
![](/media/202505/mermaid_20250520_de8799_1747721510.png)
</center>

![](/media/202505/R-C_1747296615.jpg)

</center>
通过上述思维导图，我们可以看到在汽车部件装配检测项目中学生需要综合运用多方面的能力：

* **设备操作**：包括根据检测需求合理布置多个相机的位置和角度，并进行系统标定以获得测量所需的精度；安装和调整不同类型的光源（如环形光消除金属眩光，同轴光检测光滑表面）以及必要的机械治具（例如固定工件的位置）；同时，需要掌握与产线控制系统（PLC等）的对接，在恰当的时机触发相机拍照并获取工件信息。
* **图像处理**：要求掌握模板匹配、特征识别、边缘检测等计算机视觉算法，用于检测零件的存在、位置和尺寸偏差。例如，应用边缘检测和亚像素拟合来量测孔径，利用特征匹配找出螺钉的位置与状态。如果项目需要，还可能涉及基础的3D视觉知识用于高度和体积判断。
* **系统集成**：需要编写软件将多个检测算法模块集成为一个有序的流程，并与硬件设备实时交互。这包括不同算法模块间的数据通信、多线程并行处理以提高效率，基于检测结果控制产线动作（如剔除不良品）。学生还需设计一定的动态调整机制，例如根据历史数据自动调整算法阈值，提高系统长期运行的稳定性。此外，开发简易友好的可视化界面用于展示检测结果、发出报警信号，也是系统集成能力的一部分。
* **数据管理**：能力模块与前面的类似，需要记录每件产品的检测数据，将其存入数据库或上传至制造执行系统(MES)。通过唯一的产品编号将检测结果与产品绑定，实现**质量追溯**。同时，批量的数据可以用于统计分析（例如计算螺钉漏装率、尺寸偏差分布），从而为生产工艺改进提供依据。

这个项目强调了**精密测量和装配验证**的技能，与4.1节偏重外观缺陷检测有所不同。通过该项目实训，学生将进一步掌握高精度工业视觉检测的方法，以及如何应对实际生产中多样化的装配问题。

4.2 汽车部件工业视觉应用

AI问答

输入

运行

输出