一些簡單有關自動光學檢測(AOI)的分享

在出來工作約2年多時，單位內有一批開發影像檢測程式的工程師要離職，

原來進行中的程式開發與修改工作無相關技術人員可以接，

主管們動腦筋到一些機械工程師頭上，

一直到現在還是想不通為什麼不是找電控工程師，

挑了三個對電腦應用比較擅長的工程師，分別接了三台自動光學檢測設備。

當初分到由工研院技轉，使用DOS作業系統+MS C++6.0+Matrox影像擷取卡進行開發距離與高度檢測的設備，
距離檢測以現在的影像檢測技術來看，簡單到不行，
使用四支CCD辨識產品四個角落結構圓圈的中心位置，
參考標準治具的圓圈中心位置，
計算四個圓圈中心距離的偏差量；
高度檢測一開始以類比式渦電流感應加類比訊號擷取卡，後來換數位式+RS232通訊傳資料。

以現在的技術，作上面的自動光學檢測連寫程式都不用，
直接選用一些Smart Camera就可以計算輸出圓圈中心的位置，
例如知名的COGNEX(康耐視)，
像其產品線中的In-Sight 2000-130這一隻就包括圖像辨識檢測、定位(邊緣跟圓形)、量測(距離、角度、直徑、圖案與邊緣)等功能。

但是這一類Smart Camera的缺點就是光學系統的選擇較少，畫素較低，
適合用在一般的低解析度簡單應用，
一些比較特殊的狀況可能就會有功能不足的問題。

48萬畫素(800x600)，圖片來源：COGNEX網站，www.cognex.com

500萬(5MP)畫素，圖片來源：COGNEX網站

後來轉專案管理跟主管職就沒機會進行新的光學檢測設備開發，
但是一直對光學檢測設備抱有很大的興趣，也一直不斷的在看相關資料，
接下來就把一些看到的資料作一些簡單的分享。

自動光學檢測的技術可以分成四個部分 :
產品移載機構
光學系統
影像處理與辨識系統
機構動作控制系統

產品移載機構 :

自動光學檢測系統光學系統因為光源以及相機連接線的抗撓性較差，
通常是儘量不動，或者是只作小幅度的移動。
所以設計上多數的狀況是讓產品移動到取像的位置，
產品通常會固定在吸真空載台或使用夾治具固定住，
載台或夾治具再固定在單軸或多軸滑台上進行移動。

所以滑台移載機構的目的是固定並移動產品到指定位置供光學系統取像，通常是單軸或雙軸滑台，
雖然對移載精度要求有時會比一般的搬送移載機構略高，
但是因為光學系統可以檢查在有效視野範圍(FOV, field of view)內的物件，
只要產品有完整進入到有效視野範圍內就可以進行檢查，
所以滑台移載機構其實也不需要用到非常精密的等級。

一般的移載機構通常會選用滾珠螺桿加直線軌道組，
低解析、大視野範圍的光學系統甚至可以用皮帶加線性軸承或直線滑軌，
或直接以機械手臂進行產品的移載，以下是一些滑台移載機構組成與元件的圖片。

滾珠螺桿，轉螺桿，螺帽移動
圖片來源：上銀網站

直線滑軌(Linear Guide、線性滑軌、直線軌道)
圖片來源：上銀網站

線性軸承(Linear Bushing、直線軸承)
圖片來源：全球傳動網站

皮帶傳動滑台，馬達要另外選
圖片來源：巨德科技網站

單軸滑台組合成品，需自選馬達
圖片來源：上銀網站

以Area CCD的光學檢測統來說，
因為只要進到光學系統視野範圍內就可以進行取像跟處理 、辨識，
只要重複精度有一定程度就可以，
所以像很多皮帶傳動的滑台精度有到 0.1mm的其實已經夠用，
不過常見還是以伺服或步進馬達搭配滾珠螺桿加直線滑軌最多，
可以到0.05mm甚至0.005mm的精度，
我想這是因為滾珠螺桿看起來比較“專業”，
而且除非使用到的軸數很多，其實兩者價差佔整體成本比例有限，
也可以避免一些客戶質疑的困擾；
當然對一些需要知道相對距離位置的需求，
例如LCD玻璃基板缺陷檢查，
因為需要記錄缺陷的位置，移載機構的精度就很重要。

滑台移載機構的驅動元件選擇上也有多種考慮，
如果要速度快可以使用伺服馬達搭配，可以很快到達指定的定點；
如果要速度穩定 、整定快、便宜可以使用步進馬達搭配；
基本上Area CCD取像的話，使用伺服或步進馬達都可以，
若使用Line Scan CCD用步進馬達或者轉速穩定控制的交流伺服馬達比較好。

雖然近年線性馬達越來越多也成熟，線馬主要特性在速度快，
但是用線性馬達比較少(不需要皮帶或螺桿傳動，只需要直線滑軌作支撐與導引)，
不過線馬價格高，從CP值角度來看並不適合。

有關伺服馬達的介紹可以參考：交大電力電子晶片設計與DSP控制實驗室的一篇電動機控制簡介。
有關步進馬達的介紹可以參考東方馬達的"步進馬達的基礎"網頁。

直接搭配機械手臂作產品移載的範例如下：

因為光學系統本身結構關係，
高倍率、高解析的光學系統通常比較長而笨重，
慣性作用會造成光學結構晃動，或者是光源系統要跟著動，連接線會容易斷也不適合，
所以光學系統掛在機械手臂或XYZ三軸滑台上移動的情況比較少見，
但是還是有，如下裝在垂直關節型(6~7個自由度)或水平關節型(3~4個自由度)的機械手臂末端的機器視覺系統的例子，

前面提到過，多數情況是光學系統不動，產品移動，
最多是Z軸上下對焦用，距離通常也很短；
但是有些情況，例如要節省空間，
會使用XYZ三軸滑台帶著光學系統移動，產品則固定不動，
例如大型的玻璃基板，如果要移動2公尺以上的玻璃基板，那移載機構的尺寸大小就很驚人了；
這時候會採取裝設多組光學系統，
單方向移動光學系統來克服這種尺寸上的問題；
或者是要記得將所有的線換成可以重複撓曲運動的。

以移動產品或光學系統來取像的規劃選擇，
必需視狀況來調整，不應該是一成不變的。

光學系統:

光學系統的目的是取得品質適當的影像供後續影像處理與辨識用，
是自動光學檢測的核心之一，選錯就GG了。

光學系統基本上又可以分成相機(攝影機)、鏡頭 、光源三大部分，
這三個部份的選擇是必須要密切搭配適當，
其實還有固定座的微調機構要注意(先忽略)。

相機 : Camera

通常延續早期使用習慣稱呼為CCD，
但是這幾年也愈來越多CMOS、CIS等不同型式；
選用相機基本上要考慮影像所需的幾個規格，
線型感測元件(Line Scan，近年新的技術應用)或面型感測元件(Area Scan)，
單色(mono)或彩色(color)或紅外線(IR)甚至UV等等，
當主要型態選好以後，
影像感測器的尺寸(sensor size)與畫素(pixels)跟成像解析度與品質有關，
早期常見6.4x4.8mm(1/2")到12.8x9.6mm(1")，比例多為4:3，
有效畫素640x480，可以換算感測器畫素大小為10~20um，
感測元件大尺寸的好處是感光能力強(受光面積大)；
不過後來半導體技術提升，感光能力也大幅提升，
Camera的發展趨勢往高解析度方向走，因此同樣的大小的解析度越來越高，
目前商業上銷售的工業用Camera可達29百萬畫素mega pixels(MP)，6576x4384 pixel，畫素尺寸5.5x5.5um，幾乎相當於35mm底片，甚至有更高到49MP；
其他像電子快門速度資料傳輸的介面、每秒拍攝畫面數與傳輸率也是很重要的規格。

說實在話，多數工業用相機感測元件(Image sensor)供應商就是那幾家半導體公司，
例如最老牌的Sony (area scan)，Sony在20年前幾乎是第一選擇，自己作感測器，自己組工業相機賣。
後來半導體快速往 8”以上發展，讓 6”的產能可以釋放出來改作 Image sensor，
加上監控攝影 、數位相機 、網路攝影機 、行動裝置等新產品出現且蓬勃發展，
陸續吸引了不少廠商投入生產，
Sony的工業相機也出現很多競爭者，
感覺上後來Sony已經轉型成感測器的供應商，
工業相機的發展似乎比較不像其他新廠商積極。

沒找到專門介紹工業用影像感測器器市占率介紹的資料，
還是可參考CMOS Image Sensor Industry 2016的資料，
基本上Sony還是老大，佔有幾乎超過1/3的市場；
2019/12更新 Sony市占率超過 50%，預計2025新廠陸續完成後可以進一步擴大到 60%以上*1。

至於Line scan感測器主要都是一些新的廠商，像Teledyne、Toshiba、CMOSIS等等。

市面上買到的相機多數都是將這些感測元件，
加上印刷電路板 、電源供應 、儲存與傳輸 、雜訊抑制，與外殼等組裝在一起的相機成品。

消費性、監控用跟工業級相機從名稱跟功能看起來大同小異，
但在細節上差很多，便宜玩玩試試無傷大雅，
若想裝在24小時不眠不休的機器上運作就要謹慎考慮。
更多有關詳細資料可以參考Edmond網站。

鏡頭： Lens

相機必須要接到鏡頭才能發揮光學系統所需要的功能，
所以相機上要注意與鏡頭配合的接口(mount)

早期工業用相機主要的接口是 C mount，
螺紋規格是1"直徑、1/32"的螺紋節距(pitch)，感測器前的鏡頭安裝平面基準距離17.5mm，
後來多了一個 CS mount，螺紋相同，安裝基準距離改為12.5mm，縮短鏡頭到感測元件的距離，對同一顆鏡頭會影響鏡頭到感測元件的距離，通常會減少放大倍率，增加可視範圍，降低暗角的發生，所以 CS mount 成為監控攝影機的主要規格。

鏡頭接頭到相機安裝可以添加延伸環來改變鏡頭光學系統到感測器的距離，增加放大倍率，
也會改變鏡頭前到目標聚焦平面的距離(Working Distance，WD)。

不同 mount鏡頭交換時要注意目標物的距離跟放大倍率改變等狀況。

因為傳統 C/CS mount的鏡頭接口口徑太小(外徑螺紋25.4mm)，
對大尺寸的感測元件來說太小，很容易產生影像四個角落的暗角，
或者是偏離鏡頭軸心的光線大量扭曲等問題，
所以廠商也開發新的大口徑接頭如 42 mm、 F mount或直接使用數位單眼相機的接口（例如Canon的 EF mount)，
不過以工業用途來看，F mount應該會成為主流，可對應到全片幅Area CCD跟長型的Line scan CCD。

鏡頭規格中，接口算簡單的，搭配CCD就對了，
其他的規格最主要、也最常被提到的是倍率，
工業用鏡頭通常是採定焦單鏡片設計，
所以從國中就學過的光學知識可以知道，
放大倍率是鏡頭到感測器距離FL除以鏡片到目標物距離WD，
所以越高倍率的單鏡片鏡頭通常會離目標物越近，像顯微鏡頭就是最明顯的例子。
相對商用相機一般比較常提到的是鏡頭的焦長跟快門，
在工業用鏡頭上反而很少提到，通常以倍率取代。

鏡頭中常見其他的規格包括口徑，鏡片解析能力等等就更複雜了，不過對一般應用來說其實比較沒有那麼明顯可辨的差異。

另外比較特別的是搭配使用的光源波長範圍，
有一些鏡片材質會吸收某些光譜波段，
所以若用到特殊波長就需要注意鏡頭材質、鍍膜的影響。
以前作過一台雷射修補設備，取像跟打雷射都使用同一顆鏡頭，
所以鏡頭材質必需能夠不吸收雷射，
允許雷射光穿過去，剛好那時候需求很旺盛，這一顆特殊的鏡頭交期要13個月!? 想談價格門都沒有!

有些情況下，如果對光學系統熟，其實也可以自己選鏡片搭鏡筒自製，但是若選擇好的鏡片其實也不便宜，但是有時實在選不到適合的鏡頭也不得不自己來。

相機跟鏡頭之外就是光源，
一般環境光源充滿不確定的變因，亮度 、光譜 、射方向都可能變化，
如此一來就造成取得的影像會有變動，
並造成檢測結果的重現性不佳，
所以通常在AOI系統中會使用特定的人工光源，以確保取得影像有一致性。

光源 : Light source

從早期的日光燈 、鹵素燈泡到現在幾乎都改用LED光源，光譜穩定 、壽命長，價格也降到合理範圍，
加上應用經驗與一些光學模擬軟體的進步，
LED光源廠商在台灣也算蓬勃發展；
台灣有地利之便，可以取得不少封裝廠的成品來進行開發，
十年出現了好幾家專門製作給AOI用的LED光源供應商，
例如宇創 、薹莊、新耀光、丞基等等，
讓以往多半從日本 、美 、歐進口的狀況大幅度的翻轉過來，
甚至一般大眾要自己製作點光源也不難；
但是若是要作同軸 、環狀 、平面光源那就需要技術跟資本了。

光源的選擇也是一種技術，
直接照明或間接照明對被照明物體的輪廓在成像上會有不同的影響，
不透明物件到透明(部份)的光源照射方式也會有很大的差異，
高速或想看到比較立體的形狀也需要不同的光源設計；
作自動光學檢測選擇光源除了靠經驗上的累積，
最快的方式就是找廠商借測，通常廠商著眼於後續商機，通常會很樂意配合測試。

影像擷取，Image Capturing

影像擷取的概念是把光轉換到點陣的電位訊號，
整個過程是從有光源照明物體(待檢測物)，
鏡頭搜集光線傳輸到相機，
相機上的半導體矽元件感測器將光的強度轉換成電位訊號，
電位訊號再傳送給處理器進行儲存與辨識。

如果矽元件排列成640*480陣列，那就是以前常說的30萬(307,200)畫素相機，也就是將影像的光轉換成30萬個點陣上的電位訊號。

現在容易買到的高解析度相機可高達29MP(百萬畫素)，參考 Basler acA4200-10uc，資料量是以前30萬畫素相機的接近100倍。

不同的光強度在矽元件感測器上會轉換成不同強度的電位訊號，
早期的相機用2的8次方來表示表示電位訊號，那就是8bits或1個byte，
也就是亮度用電位區分成0～255來表示，
如果採用2的16次方來表示，那就是16bits(2個bytes)，可以將亮度分為0～65535來表示，
很明顯的不同位元資料對亮度變化的解析能力差異非常巨大，
但是好像又不需要分辨到這麼細，
所以後來在多方規格與成本限制妥協下，
主流規格出現了10 / 12bits這個規格，也就是亮度最多可以區分成0～4095來表示，
就工業上影像處理的需求來看，
已經可以滿足用來區分輪廓的需求，
又可以減少資料傳輸的量為16bits的3/4，提高單位時間畫面擷取數量；
包括商用數位相機用的感測器現在也是以12bit為主；
Canon 數位單眼號稱使用14bits的專用格式儲存資料。

所以若以29MP*12bits(1.5Bytes) = 348 Mbits來計算，
一秒鐘五張影像需要傳輸1740Mbits資料，
以常見4G行動網路來看，傳輸率號稱100Mbits/sec，
需要17.4秒才能傳完，1Gbps要1.74秒，
所以對高解析度的相機來說，
目前的傳輸速率是一個很高的技術障礙，
選擇上要很小心是否能夠匹配，才不會出現速度無法配合得上的問題。

實際上在相機內資料傳遞的行為更複雜，
不過對一般的應用工程師來說，
基本上就是要選對相機對應的影像擷取卡來配合，
另外，由於機械動作還是比不上資料傳輸與計算的速度，
除非選很高解析度的相機，一般來說在速度上多半沒有什麼問題。

影像處理，Image Processing

取得影像後接下來就要進行影像處理，
將需要的資訊萃取出來，再進行影像辨識成為有用的資訊，
這個部份主要是寫程式，
拜好心人士分享，在網路上可以找到不少程式碼可以參考使用，
例如 OpenCV，給有心自學者提供了很棒的參考資料。

相關：
工業用相機分享
光學檢測用鏡頭分享
光學檢測用光源分享
工業用鏡頭延伸環倍率計算
工業用鏡頭規格MTF簡介

參考：
1. A股新秀韋爾布局兩大市場 台廠跟著旺，今周刊

下面是廣告連結...