本項目開發(fā)一種基于機器視覺的顯示屏測試機械手系統(tǒng)，采用直角坐標運動的機械手模擬人工點擊顯示屏或者薄膜按鍵觸發(fā)對應的功能，通過機器視覺進行恒溫箱中顯示屏工作狀況的實時監(jiān)測，實現顯示屏在高低溫環(huán)境下運行狀況的閉環(huán)測試和實時監(jiān)控，并為顯示屏在高低溫環(huán)境下的性能評估提供可靠的分析數據。

1.2 項目指標

序號	項目要求	指標
1	恒溫箱溫度調節(jié)范圍	-40℃~70℃
2	恒溫箱尺寸規(guī)格	76*76*76 cm 102*67*86 cm 102*100*97 cm
3	恒溫箱溫度控制精度	±0.5℃
4	機械手運動精度	0.2 mm
5	機械手運動范圍	80*80*80 cm
6	圖像處理設備拍攝速度	50～10萬幀/秒
7	圖像信號質量檢測	響應圖形失真、飽和度等圖像信號質量檢測要 求

2項目實施方案

2.1 總體方案

本項目針對顯示器性能的自動測試問題，開發(fā)基于機器視覺的顯示屏自動化測試系統(tǒng)，系統(tǒng)總體方案如圖1所示。分別從機器臂開發(fā)和控制模塊、機器視覺模塊、系統(tǒng)集成開發(fā)三個方面展開，研究的主要內容包括以下幾個方面：
（1）結合硬件平臺和軟件系統(tǒng)的設計，完成直角坐標運動機械手的總體方案設計；通過多自由度運動控制技術，搭建伺服控制系統(tǒng)，完成軟件調試和人機操作界面設計，實現直角坐標運動機械手的創(chuàng)成設計和調試。
（2）采用圖像采集和處理技術，通過相機標定、圖像增強、去噪、和邊緣提取等處理，基于OpenCV和QT應用程序開發(fā)框架，獲取并傳輸顯示器運行狀態(tài)信息，開發(fā)基于機器視覺的顯示器運行狀態(tài)監(jiān)測模塊。
（3）采用功能模塊設計及集成技術，完成直角坐標機械手運動控制系統(tǒng)和圖像處理設備的通訊和功能匹配設計，實現基于機器視覺的顯示器運行狀態(tài)的自動化測試。

圖1 基于機器視覺的顯示屏自動化測試系統(tǒng)

2.2具體實施方案

本項目開展基于機器視覺的顯示屏自動化測試關鍵技術的研究，顯示屏放置于恒溫箱之后，通過專用夾具固定，當機械手代替人手進行顯示屏的操作后，需要采用機器視覺進行顯示屏運行狀況的監(jiān)測和信息的閉環(huán)反饋，并且建立顯示屏的故障信息數據庫。具體實施方案將從機器臂開發(fā)和控制模塊、機器視覺模塊、系統(tǒng)集成開發(fā)三個方面展開。

2.2.1機器視覺檢測模塊開發(fā)

機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是通過機器視覺產品(即圖像攝取裝置，分CMOS和CCD兩種)將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標的形態(tài)信息，根據像素分布和亮度、顏色等信息，轉變成數字化信號;圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。  
（1）顯示器運行狀況圖像信號采集
對顯示屏的運行狀況進行機器視覺檢測，采用CCD檢測，測量原理框圖如圖3所示。利用透鏡將顯示屏圖像端面成像到CCD上（如圖2所示）。CCD及其驅動電路將采集的信號依次輸出，再經過模數轉換，得到數據經計算機處理，通過圖像處理和識別，將圖像端面成像然后反饋給計算機控制系統(tǒng)，為顯示屏的運行狀況分析提供依據。


 

圖3 機器視覺檢測原理圖


圖4 視覺傳感測量系統(tǒng)示意圖

 
（2）顯示器運行狀況圖像處理
用CCD得到后的圖像需要進行圖像處理和識別，以便得到準確清晰的顯示屏運行狀況圖像。首先通過CCD及其驅動電路將各點的圖像型號轉換成電信號，然后經過程序處理，對圖像進行增強、灰度化處理、噪聲去除、閾值分割、圖像邊緣提取等處理，從而提高檢測準確性和精度，最后將采集到的圖像進行分類統(tǒng)計，建立顯示屏的故障檢測數據庫。相機標定和圖像二值化處理如圖5和圖6所示。
 
 

圖5 相機標定
圖6 圖像二值化處理

2.2.2直角坐標運動機械手控制模塊開發(fā)

采用機械手代替人手進行顯示屏的自動化測試，需要同時進行直角坐標運動的機械手運動控制和視覺伺服系統(tǒng)控制，操作人員通過人機交互界面將操作指令發(fā)送給控制系統(tǒng)，運動控制卡采用轉矩模式，并將數字量信息轉化為脈沖輸出，控制直角坐標運動的機械手完成運動并進行相應操作。編碼器和傳感器檢測系統(tǒng)完成位置和力矩檢測，并進行控制系統(tǒng)與檢測系統(tǒng)的信號傳輸和數據交換，完成控制系統(tǒng)模塊和機械手系統(tǒng)的設計開發(fā)，保證運動精度和顯示屏測試效率。

圖7 直角坐標運動的機械手運動控制方案
將所設計的直角坐標運動的機械手與傳統(tǒng)多軸聯動機械手進行運動控制方案的對比分析，控制方案如圖7所示。直角坐標運動的機械手控制模塊主要用于控制機械手代替人手進行顯示屏的測試，檢測系統(tǒng)完成位置和力矩檢測以及不同系統(tǒng)間的數據交換。
（1）運動系統(tǒng)控制
控制機械手進行三自由度運動并代替人手進行顯示屏的測試。根據檢測系統(tǒng)檢測到的位置和力矩信息，控制系統(tǒng)控制機械手進行空間三自由度方向上的運動，并代替人手完成顯示屏的觸摸、點擊等動作。

圖8 驅動系統(tǒng)集成示意圖
（2）檢測系統(tǒng)控制
檢測系統(tǒng)用于對機械手運動位置、力矩進行檢測。對檢測系統(tǒng)的控制包括三自由度直角坐標機械手的運動位置檢測，執(zhí)行器末端接觸顯示屏的力矩大小檢測，以及運動的速度，距離等運動參數。
（3）數據交換
檢測系統(tǒng)由執(zhí)行機構末端的傳感器和編碼器等元器件構成，將傳感器測得的模擬量信號傳遞到控制模塊，控制模塊將反饋信號通過一定的轉化關系，進行機械手的運動控制。
（4）人機交互
通過人機交互界面進行機械手的運動控制，編寫自動化運動系統(tǒng)軟件，操作者選擇對應的菜單獲取想要的數據或實現期望的功能來實現人機交互。該軟件系統(tǒng)可以實現顯示機械手多自由度的運動控制，位置和力矩模式切換，位置、力矩信號閉環(huán)反饋，和顯示屏故障信息的存儲等功能。軟件數據開發(fā)基于Windows7操作系統(tǒng)，開發(fā)語言環(huán)境選擇C++，數據庫選擇Oracle數據庫。電機控制的人機交互界面如圖8所示。

圖8 電機控制人機交互界面

2.2.3自動化測試系統(tǒng)集成開發(fā)

基于機器視覺的顯示屏自動化測試系統(tǒng)發(fā)揮作用需要各功能單元協(xié)調配合，共同完成顯示屏測試的自動化測試作業(yè)。研究使自動化測試系統(tǒng)各單元功能的集成載體，設計有效運行的運動執(zhí)行本體，實現顯示屏運行狀況檢測、機械手代替人手操作顯示屏等控制的一體化集成，保證自動化測試工藝流程協(xié)調高效的運行。整個自動化測試系統(tǒng)由三大模塊：機器視覺模塊，機械臂自動化控制模塊，和檢測模塊的集成構成，整體集成方案和模塊間通訊方案如圖9和圖10所示。

圖9 基于機器視覺的顯示屏自動化測試系統(tǒng)集成方案
整個自動化測試系統(tǒng)采用現場總線進行通訊。通過基于PC平臺和Windows操作系統(tǒng)的控制軟件，在工控機內構件一個具有 NC功能的實時系統(tǒng)，通過PLC的邏輯運算，并利用PC機標準配置的硬件，實現邏輯運算（TwinCAT PLC）功能、運動控制（TwinCAT NC）功能、浮點運算、和存儲和處理大量數據的功能。PLC程序先將信號發(fā)送給NC軸，NC經過軌跡規(guī)劃，PID 運算和 IO 接口處理輸出給驅動器來實現對電機的控制，同時電機的狀態(tài)通過NC及時地反饋給PLC程序。在整個CNC系統(tǒng)中，各個軟件模塊（如PLC程序、NC、Windows 應用程序等）的工作模式類似于硬件設備，它們能夠獨立工作。各個軟件模塊之間的信息交換通過運動控制器ADS而完成，整個控制系統(tǒng)模塊通訊的集成構架如圖10所示。

圖10 自動化測試系統(tǒng)模塊通訊方案