4.1 3C产品工业视觉应用

##### [学习视频](https://b23.tv/pj0YNOv)

##### 学习目标：
- 综合运用第三章所学的缺陷检测、尺寸测量和识别技术，解决实际3C电子产品质检项目中的多重任务。
- 掌握针对玻璃等特殊材质进行视觉检测的技巧，如反光抑制和曲面成像调整。
- 提升系统级思维，能够将不同功能的视觉模块拼接集成，并考虑测试验证和数据记录。

##### 任务成果：
- 针对手机屏幕产品，搭建一套完整的视觉质检系统，涵盖表面缺陷检测、尺寸测量、零部件（摄像头）安装检查及二维码识别等功能。
- 编写程序整合多个视觉算法模块，实现对手机屏幕的全面检测，并输出检测报告或结果数据。
- 制定一套对该视觉系统的测试方案，使用提供的样品数据验证系统性能，并能对参数调优提出改进意见。
- 
#### 4.1.1 场景任务
##### （1）项目背景

假设现在是项目启动会议，我们需要与生产、研发部门对接需求，请思考以下问题🤔：
作为锐厂的质检产线总监，你刚收到一个紧急任务——建立一套手机屏幕的自动化质检系统。在开始设计之前，让我们先思考几个关键问题：

![](/media/202505/2025-05-16_112949_3614440.395350617320431.png)

</center>

1. **需求分析思考**

* Q1: 手机屏幕的质量检测通常需要关注哪些方面？

> 表面划痕、裂纹、污渍等外观缺陷
     > 尺寸规格是否符合要求
     > 摄像头、按键等功能部件的安装情况

* Q2: 相比传统人工检测，自动化视觉检测系统可能遇到哪些挑战？

> 玻璃表面反光带来的干扰
     > 缺陷种类多样，需要更复杂的算法
     > 系统稳定性和可靠性要求高

| 检测对象 | 金属板  | 手机屏幕 |
   | ------- | ------- | ------- |
   | 材质特性 | 不反光  | 高反光  |
   | 检测难点 | 明显划痕 | 细微缺陷 |

* Q3: 如何确保检测的准确性和效率？

> 选用高质量的相机和光源设备
     > 优化图像处理算法
     > 建立完善的标准样本库
2. **技术可行性评估**

* Q4: 现有的视觉检测技术能否满足所有检测需求？

> 基本可以满足外观、尺寸等检测需求
     > 部分复杂缺陷可能需要深度学习支持

* Q5: 需要哪些硬件设备和软件支持？

> 工业相机、镜头、光源系统
     > 图像处理软件和算法库
     > 数据存储和分析系统

* Q6: 系统的响应速度要求是多少？

> 单块屏幕检测时间应控制在1-2秒内
     > 需要满足生产线节拍要求

##### （2）具体需求

```mermaid
graph TD
    A[质检需求] --> B[外观检测]
    A --> C[尺寸测量]
    A --> D[组装验证]
    A --> E[信息识别]
    A --> F[数据管理]
```
<center>
  
![](/media/202505/mermaid_20250520_238191_1747715380.png)
</center>

1. **外观检测**

* 检测表面划痕、裂纹等外观缺陷
   * 识别并记录污渍的位置

![](/media/202505/2025-05-16_113113_5910490.8625008965828062.png)

</center>

2. **尺寸测量**

* 标准尺寸：156 mm × 68 mm
   * 允许误差：±0.1 mm
   * 测量精度：0.05 mm
   <center>
     
     <图片: 手机屏幕尺寸测量示意图>

![](/media/202505/2025-05-16_113539_6570100.06838617661019786.png)

</center>
   
3. **组装验证**

* 确认摄像头正确安装到位
   * 检查摄像头位置是否正确
<center>
  
 <图片: 手机屏幕摄像头正确安装示例>
 <图片: 手机屏幕摄像头漏装或偏移示例>
     
![](/media/202505/2025-05-16_113645_2727640.2263997172268417.png)

</center>

4. **信息识别**

* 读取屏幕贴纸上的二维码信息
   * 验证序列号与二维码内容是否匹配
   * 
<center>

<图片: 带二维码贴纸的手机屏幕示例>
  
![](/media/202505/2025-05-16_114316_0266290.43490436297175583.png)
</center>

5. **数据管理**

* 记录不良品信息
   * 建立缺陷数据库，分类存储缺陷类型和位置
   * 自动生成质检报告

![](/media/202505/2025-05-16_113617_8442440.029543098605062768.png)

</center>

##### （3）测试样品

提供10块测试屏幕，包含以下情况：

* 3块存在划痕

<图片: 测试样品 - 带划痕的屏幕>

![](/media/202505/2025-05-16_111418_7811870.6129949446259118.png)

</center>

* 2块有污渍

<图片: 测试样品 - 带污渍的屏幕>

![](/media/202505/2025-05-16_111543_8210020.8814952328377771.png)

</center>

* 2块缺少摄像头（未安装到位）

<图片: 测试样品 - 缺少摄像头的屏幕>

![](/media/202505/2025-05-16_111606_9608380.7788293919229714.png)

</center>

* 2块序列号与二维码信息不匹配
<center>

<图片: 测试样品 - 二维码信息不匹配的屏幕>

![](/media/202505/2025-05-16_111833_5529520.46172006581505.png)

</center>

* 1块完全合格无缺陷
        <center>

<图片: 测试样品 - 完全合格的屏幕>

![](/media/202505/2025-05-16_111940_3846850.9382772783589247.png)

</center>

#### 4.1.2 技能拼接

经过以上需求分析的头脑风暴，现在我们要像搭积木一样构建整个手机屏幕检测系统。在第三章的学习中，我们已经储备了多项关键技能模块，现在需要将这些"技术积木"有机组合起来，就像用乐高积木搭建复杂模型一样，搭建出完整的质检系统。

##### 知识储备盘点

在正式搭建前，我们先清点现有的"技术积木"：

1. **硬件选型经验**

* 在3.1节金属板缺陷检测项目中，我们掌握了平面物体的光源选择技巧（如使用条形光源45度斜射以突出划痕）；
  
<center>
     
<图片: 3C产品视觉检测硬件平台示例>
  
     
![](/media/202505/2025-05-16_112121_5046500.5988019943050938.png)
  
</center>
     
   * 学习了工业相机的参数调节方法（合理平衡分辨率与帧率）；
   * 了解了不同材质（如金属 vs. 玻璃）对成像效果的影响及应对方案。
2. **算法工具箱**

```mermaid
   flowchart TD
       A[3.1 缺陷检测] --> D[表面瑕疵识别]
       B[3.2 尺寸测量] --> E[精确几何分析]
       C[3.3 条码识别] --> F[信息验证]
   ```
<center>
  
![](/media/202505/mermaid_20250520_de2d4e_1747721211.png)
</center>

* 可直接复用的核心函数：

* `detect_defects()` – 缺陷检测函数（来源于3.1节，实现表面划痕等瑕疵的识别）
     * `measure_dimensions()` – 尺寸测量函数（来源于3.2节，实现精确几何尺寸计算）
     * `decode_qrcode()` – 条码/二维码识别函数（来源于3.3节，实现信息读取与比对）
3. **工程化经验**

* 图像采集规范（参考3.1节中的设备调试流程，保证成像清晰稳定）；
   * 代码模块化设计（在3.1节实训中我们将功能封装为多个函数，便于组合复用）；
   * 异常处理机制（采用try-except结构提高系统鲁棒性）。

##### 硬件系统升级

针对玻璃屏幕材质带来的高反光挑战，我们需要在3.1节金属板检测硬件配置的基础上进行优化升级：

```python
# 光源配置升级示例
def configure_advanced_lighting():
    """组合多种照明方案以解决玻璃反光问题"""
    # 继承3.1节的基础条形光配置
    setup_basic_lighting()  
    # 新增同轴光源模块，减少直射反光
    add_coaxial_light(
        intensity=0.7, 
        angle=15    # 精确控制照射角度，避开镜面反射
    )
    # 增加漫反射板，均匀散射光线
    install_diffuser(
        material='乳白色亚克力',
        position='顶部'
    )
```
<center>
<图片: 针对玻璃屏幕优化的照明方案示意图 (如同轴光与漫反射板)>
  
![](/media/202505/2025-05-16_112242_1430740.6114051067361953.png)

</center>

上述代码片段演示了如何在基本照明的基础上，增加**同轴光源**和**漫反射板**来抑制玻璃表面的高亮反光。从硬件角度，我们通过优化光源组合和相机角度，使划痕、裂纹等缺陷在图像中更加清晰可见。

##### 软件算法融合

我们将采用"分而治之"的策略，把复杂的检测需求拆解为多个子模块，然后将这些模块的结果融合判定：

```python
def integrated_detection(image):
    """综合检测流水线示例"""
    # 第一阶段：图像预处理（复用3.1的预处理函数，如去噪、增强对比）
    preprocessed = preprocess_image(image)  
    # 第二阶段：并行调用各检测模块
    defects = detect_defects(preprocessed)           # 外观缺陷检测（划痕/污渍）
    dimensions = measure_dimensions(preprocessed)    # 尺寸测量
    qr_info = decode_qrcode(image)                   # 二维码信息读取
    # 第三阶段：综合判定与结果打包
    result_report = generate_report(defects, dimensions, qr_info)
    return result_report
```
<center>
  
<图片: 手机屏幕多模块检测结果融合示意图>
  
![](/media/202505/2025-05-16_112354_2424000.3400708998414893.png)

</center>

在上述伪代码中，我们将图像**预处理**作为第一步，以提高后续算法的鲁棒性。随后并行或顺序调用缺陷检测、尺寸测量、信息识别三个模块，获取各自结果。最后综合这些结果生成检测报告，例如标明该屏幕是否存在外观缺陷、尺寸是否合格、二维码信息是否匹配等。通过算法融合，我们构建了一个**多功能一体化**的检测流水线。

##### 数据与界面管理

有了检测算法和硬件支持，我们还需考虑如何展示结果和记录数据。我们可以设计一个简易的用户界面（GUI）来实时显示每块屏幕的检测结果，并提供声音或视觉报警提示不良品。同时，在3.1节结果记录的基础上引入更完善的数据库机制：

```python
class EnhancedDatabase(DefectDatabase):
    """升级版缺陷数据库，继承自3.1节的DefectDatabase"""
    def __init__(self):
        super().__init__()
        # 新增字段以记录材质等信息
        self.add_field('material_type', str)  
        self.add_field('reflectivity', float)
    def record_defect(self, defect_info):
        # 调用父类方法记录基本缺陷信息
        super().record_defect(defect_info)  
        # 扩展：如果当前产品为玻璃材质，记录额外信息
        if defect_info['material_type'] == 'glass':
            self.data[-1]['reflectivity'] = measure_reflectivity(defect_info['image'])
```
<图片: 手机屏幕质检系统GUI示例界面>
<图片: 缺陷数据库结构或管理界面示例>
<center>
  
<图片: 手机屏幕多模块检测结果融合示意图>
  
![](/media/202505/2025-05-16_112511_1629630.6770175253516719.png)

</center>

上述代码通过继承的方式扩展了原有数据库功能，例如针对玻璃材质记录其反光特性参数。实际系统中，我们会将**每块屏幕的检测结果（是否有缺陷、缺陷种类、尺寸数据、二维码内容等）保存到数据库**，以便后续质量追溯和数据分析。

通过硬件改进、算法融合、界面展示和数据管理四个方面的"技能拼接"，我们最终搭建出一套完整的手机屏幕视觉质检系统。从实际操作角度看，学生可以直接复用第三章已有模块的代码，并按上述思路进行适当改造和集成，在较短时间内实现项目原型。
<图片: 手机屏幕视觉质检系统整体架构/流程图>

#### 4.1.3 能力映射

```mermaid
mindmap
  根节点(手机屏幕质检项目所需能力)
    设备操作
      工业相机选型与安装
      光源类型选择与布光
      自动输送装置设计
    图像处理
      图像预处理与增强
      缺陷检测算法应用
      亚像素级尺寸测量
      二维码信息识别
    系统集成
      模块化代码组合
      实时处理与结果判定
      简易用户界面开发
      报告自动生成
    数据管理
      缺陷数据库设计
      检测数据存储与查询
      质量统计与分析
```
<center>
  
![](/media/202505/mermaid_20250520_8fd9ad_1747721285.png)
</center>

<图片: 手机屏幕质检项目能力映射图>

* **设备操作**：掌握相机、镜头和光源等硬件的选型与调试，能够搭建稳定的成像系统（例如解决玻璃反光的问题），还需要设计基本的自动化机械（如小型传送带）实现批量检测。
* **图像处理**：运用图像处理与计算机视觉算法实现划痕、裂纹等表面缺陷的检测，进行高精度的尺寸测量，以及读取屏幕上的二维码信息。这要求学生熟练使用图像预处理、特征提取和模式识别等技术手段。
* **系统集成**：将多个功能模块集成为一个完整系统，需要编写模块化代码并实现它们之间的数据传递与协同工作。此外包括构建一个简单友好的用户界面用于实时显示结果，以及实现检测流程的自动控制（如自动抓取图像、自动判定合格/不合格、自动停止传送不良品等）。
* **数据管理**：设计并利用数据库或文件系统记录每个屏幕的检测结果，分类保存缺陷信息，便于日后查询和统计分析。通过对历史数据的分析，可以评估系统性能、发现主要缺陷类型并提出工艺改进建议。这也是工业现场实现**质量追溯**和**持续改进**的重要基础。

4.1 3C产品工业视觉应用

AI问答

输入

运行

输出