臺灣博碩士論文加值系統

現今已有相當多的高科技產業，例如電子、光電產業及半導體業等，將機器視覺的技術應用於生產線上，其主要原因乃是為了降低人工檢測作業存在之漏檢及誤判等問題發生，進而使用機器視覺之自動檢測系統取代人工作業。在機器視覺技術中，圖形比對(Pattern matching)技術在實際工業應用上已經相當廣泛，而相關係數法(Normalized correlation)為目前圖形比對應用最普遍的方法，但由於傳統相關係數法在處理效果上及計算效率上不符合工業自動檢測的需求，因此本研究針對傳統相關係數法在瑕疵檢測應用上提出一個改良處理效果與計算效率的方法。
在瑕疵偵測效果方面，本研究藉由高斯平滑濾波器，對於兩比對圖形進行高斯平滑影像處理來降低變異因素對相關係數所造成的影響。在計算效率方面，透過建立的加總表，使相關係數的計算不受比對視窗尺寸的影響進而達到快速計算的目的。經由實驗結果驗證，本研究所提之改良方案確實能有效改善傳統相關係數法在處理效果與計算效率上的缺失，使得相關係數法在自動瑕疵檢測方面能獲得更廣泛的應用。

Pattern matching has been an important technique in machine vision for the applications of optical character recognition (OCR), object detection, motion analysis, and defect detection. Normalized correlation is the most common measure used for pattern matching. However, the traditional normalized correlation is computational intensive, and is sensitive to environmental changes. This prohibits normalized correlation for industrial inspection applications. In this research, we propose a method to improve the effectiveness and efficiency of the normalized correlation for defect detection application.
In order to reduce the variation of normalized correlation affected by the factors such as image displacement and intensity variation, a Gaussian smoothing filter is used to smooth both the reference image and scene image so that the evaluated correlation values can be stable respect to minor environmental changes. To improve the computational efficiency of the normalized correlation, a sum-table approach is applied, which makes the computation of normalized correlation invariant to the window size of two compared images. Experimental results on various industrial samples such as PCB, SMT and BGA have shown that the proposed method is very efficient and effective for defect detection application.

目 錄
中文摘要…………………………………………………………………………. I
英文摘要…………………………………………………………………………. II
目錄………………………………………………………………………………. III
表目錄……………………………………………………………………………. V
圖目錄……………………………………………………………………………. VIII
第一章 緒論……………………………………………………………………... 1
1.1 研究背景……………………………………………………………….. 1
1.2 研究目的與動機……………………………………………………….. 1
1.3 研究方法簡介………………………………………………………….. 2
1.4 論文架構……………………………………………………………….. 3
第二章 文獻回顧………………………………………………………………... 4
2.1 相關係數法之處理效果探討………………………………………….. 4
2.2 相關係數法之計算效率探討………………………………………….. 5
2.3 圖形比對之應用……………………………………………………….. 6
第三章 研究方法………………………………………………………………... 8
3.1 研究方法流程概述…………………………………………………….. 8
3.2 圖形比對方法………………………………………………………….. 10
3.3 相關係數法處理效果之改善探討…………………………………….. 14
3.3.1 空間濾波………………………………………………………... 14
3.3.2 高斯平滑濾波之影像平滑處理探討…………………………... 16
3.3.3 高斯平滑濾波器大小之探討…………………………………... 19
3.3.4 高斯平滑濾波器尺寸大小與瑕疵區域大小之探討…………... 24
3.3.5 比對視窗大小之探討…………………………………………... 27
3.3.6 高斯平滑濾波器尺寸大小與比對視窗大小之探討…………... 32
3.4 相關係數法計算效率之改善探討…………………………………….. 48
3.4.1 加總表之建立…………………………………………………... 48
3.4.2 快速相關係數演算法…………………………………………... 49
3.4.3 傳統相關係數法與加總表相關係數法之計算複雜度與計算量分析……………………………………………………….….. 58
第四章 實驗結果與分析………………………………………………………... 63
4.1 系統架構與實驗環境………………………………………………….. 63
4.2 圖形比對結果………………………………………………………….. 65
4.2.1 比對視窗大小之影響…………………………………………... 65
4.2.2 位移之影響……………………………………………………... 75
4.2.3 光源變動之影響………………………………………………... 88
4.3 傳統相關係數法與加總表之相關係數法之比較分析……………….. 109
4.4 工業應用範例………………………………………………………….. 115
第五章 結論與建議……………………………………………………………... 129
5.1 結論…………………………………………………………………….. 129
5.2 建議…………………………………………………………………….. 131
參考文獻…………………………………………………………………………. 132
附錄A 各種空間濾波之介紹…………………………………………………. 134
附錄B 各種空間濾波之實驗結果……………………………………………. 136
附錄C 灰階影像經高斯平滑濾波器處理之實驗結果………………………. 141
附錄D 非結構式瑕疵之實驗結果……………………………………………. 145
附錄E 程式說明……………………………………………………………….. 152
表目錄
表3-1 各種尺寸之高斯平滑濾波器數據分析(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)………………………….……………... 24
表3-2 各種尺寸之高斯平滑濾波器 比數據分析(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)…………………………………. 24
表3-3 各種視窗大小之數據分析(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))未經平滑處理)…………………………………………………... 31
表3-4 各種視窗大小之 比數據分析(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))未經平滑處理)……………………………………………. 32
表3-5 各個視窗大小經平滑處理之數據分析1(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)………………………………………….. 46
表3-6 各個視窗大小經平滑處理之數據分析2(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)………………………………………….. 47
表3-7 各個視窗大小經平滑處理之 比數據分析(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)…………………………………. 47
表3-8 傳統相關係數法與加總表相關係數法之計算複雜度分析表…………. 60
表3-9 傳統相關係數法與加總表相關係數法之計算量分析表………………. 61
表3-10 傳統相關係數法與加總表相關係數法之總計算量分析表(包含標準影像 及 )………………………………..………………………… 61
表3-11 傳統相關係數法與加總表相關係數法之總計算量分析表(未含標準影像 及 )……………………………..…………………………… 62
表4-1 各種視窗大小之數據分析(標準影像(圖4-1(a))與待測正常影像(圖4-1(b))未平滑處理)……………………………………………………... 70
表4-2 各種視窗大小之 比數據分析(標準影像(圖4-1(a))與待測正常影像(圖4-1(b))未平滑處理)………………………………………………. 71
表4-3 各種視窗大小之數據分析(標準影像(圖4-4(a))與待測正常影像(圖4-4(b))未平滑處理)……………………………………………………... 74
表4-4 各種視窗大小之 比數據分析(標準影像(圖4-4(a))與待測正常影像(圖4-4(b))未平滑處理)………………………………………………. 75
表4-5 影像位移之數據彙整分析表1(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)…………………………………………………. 87
表4-6 影像位移之數據彙整分析表2(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)………………………………………………….. 87
表4-7 影像位移之 比數據分析(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)……………………………………………………... 87
表4-8 光源變動經高斯平滑濾波器處理之數據分析1(圖4-14vs.圖4-15(a)- (e))……………………………………………………………………….. 108
表4-9 光源變動經高斯平滑濾波器處理之數據分析2(圖4-14vs.圖4-15(a)- (e))……………………………………………………………………….. 108
表4-10 光源變動經高斯平滑濾波器處理之 比數據分析(圖4-14vs.圖4-15(a)-(e))……………………………………………………………... 108
表4-11 灰階影像之計算時間分析(單位：秒)………………………………… 113
表4-12 彩色影像之計算時間分析(單位：秒)………………………………… 114
表4-13 測試樣本1之計算時間分析(單位：秒)……………………………… 122
表4-14 測試樣本2之計算時間分析(單位：秒)……………………………… 128
表B-1 標準影像與待影像(正常)經各種濾波處理後之數據分析(圖B-1(a1)vs.(a2)) 140
表B-2 各種濾波器之 比數據分析(圖B-1(a1)vs.(a2))……………………. 140
表C-1 各種尺寸之高斯平滑濾波器數據分析(圖C-1(a)vs.(b))………………. 144
表C-2 各種尺寸高斯平滑濾波器之 比數據分析(圖C-1(a)vs.(b))………. 144
表D-1 非結構式瑕疵測試樣本之數據分析(標準影像(圖D-1(a))與待測正常影像(圖D-1(b))經平滑處理)…………………………………………… 151
表D-2 非結構式瑕疵測試樣本之 比數據分析(標準影像(圖D-1(a))與待測正常影像(圖D-1(b))經平滑處理)…………………………………… 151
圖目錄
圖3-1 比對流程架構……………………………………………………………. 9
圖3-2 各種尺寸大小之高斯平滑濾波器………………………………………. 21
圖3-3 標準影像與待測影像(影像大小 像素)…………………….…. 21
圖3-4 高斯平滑濾波器處理結果之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)………………………………………………..…………….... 22
圖3-5 高斯平滑濾波器處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖3-3(a))與待測瑕疵影像(圖3-3(c))經平滑處理)………………. 23
圖3-6 標準影像與待測影像(影像大小 像素)……………………….. 25
圖3-7 高斯平滑濾波器處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖3-6(a))與待測瑕疵影像(圖3-6(b))經平滑處理)……………… 26
圖3-8 視窗大小變化之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))未經平滑處理)… 29
圖3-9 視窗大小變化之灰階能量圖與相關係數3D分佈圖(標準影像(圖3-3(a))與待測瑕疵影像(圖3-3(c))未經平滑處理)……………...…….. 30
圖3-10 各個視窗大小經平滑處理之灰階能量圖(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)……………………………………… 37
圖3-11 各個視窗大小經平滑處理之相關係數次數分配圖(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)……………………… 39
圖3-12 各個視窗大小經平滑處理之相關係數3D分佈圖(標準影像(圖3-3(a))與待測正常影像(圖3-3(b))經平滑處理)……………………... 41
圖3-13 各個視窗大小經平滑處理之灰階能量圖(標準影像(圖3-3(a))與待測瑕疵影像(圖3-3(c))經平滑處理)……………………………………… 43
圖3-14 各個視窗大小經平滑處理之相關係數3D分佈圖(標準影像(圖3-3(a))與待測瑕疵影像(圖3-3(c))經平滑處理)……………………… 45
圖4-1 比對視窗大小測試樣本1(影像大小 像素)………………….. 67
圖4-2 視窗大小變化之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-1(a))與待測正常影像(圖4-1(b))未平滑處理)…… 68
圖4-3 視窗大小變化之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-1(a))與待測瑕疵影像(圖4-1(c))未平滑處理)………………………. 69
圖4-4 比對視窗大小測試樣本2(影像大小 像素)………………….. 71
圖4-5 視窗大小變化之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-4(a))與待測正常影像(圖4-4(b))未平滑處理)…… 72
圖4-6 視窗大小變化之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-4(a))與待測瑕疵影像(圖4-4(c))未平滑處理)………………………. 73
圖4-7 位移之測試樣本…………………………………………………………. 75
圖4-8 無位移經高斯平滑處理結果之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)…………………………………………………………….. 81
圖4-9 無位移經高斯平滑處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測瑕疵影像(圖4-7(c))經平滑處理)…………… 82
圖4-10 位移0.5 pixel經高斯平滑處理結果之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)…………………………………………………….. 83
圖4-11 位移0.5 pixel經高斯平滑處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測瑕疵影像(圖4-7(c))經平滑處理)….. 84
圖4-12 位移1 pixel經高斯平滑處理結果之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測正常影像(圖4-7(b))經平滑處理)…………………………………………………….. 85
圖4-13 位移1 pixel經高斯平滑處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-7(a))與待測瑕疵影像(圖4-7(c))經平滑處理)…….. 86
圖4-14 光源變動測試之標準影像………………………………….………….. 88
圖4-15 光源變動測試之待測正常影像…………………….………………….. 89
圖4-16 光源變動測試之待測瑕疵影像………………………………………... 89
圖4-17 光源變動經高斯平滑濾波器處理之灰階能量圖(圖4-14vs.4-15(a)- (e))……………………………………………………………………… 98
圖4-18 光源變動經高斯平滑濾波器處理之相關係數次數分配圖(圖4-14vs. 4-15(a)-(e))……………………………………………………………... 100
圖4-19 光源變動經高斯平滑濾波器處理之相關係數3D分佈圖(圖4-14vs. 4-15(a)-(e))……………………………………………………………... 102
圖4-20 光源變動經高斯平滑濾波器處理之灰階能量圖(圖4-14vs.4-16(a)- (e))……………………………………………………………………… 104
圖4-21 光源變動經高斯平滑濾波器處理之相關係數3D分佈圖(圖4-14vs. 4-16(a)-(e))……………………………………………………………... 106
圖4-22 比對視窗大小測試樣本1……………………………………………… 110
圖 4-23 比對視窗大小之灰階能量圖(圖4-22(a)vs.4-22(b))………………….. 110
圖4-24 比對視窗大小測試樣本2……………………………………………… 111
圖 4-25 比對視窗大小之灰階能量圖(圖4-24(a)vs.4-24(b))………………….. 111
圖4-26 PCB樣本(測試樣本1)…………………………………………………. 116
圖4-27 測試樣本1之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-26(a))與待測正常影像(圖4-26(b))經平滑處理).. 117
圖4-28 測試樣本1之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-26(a))與待測瑕疵影像(圖4-26(c))經平滑處理)…………………… 118
圖4-29 測試樣本1之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-26(a))與待測瑕疵影像(圖4-26(d))經平滑處理)…………………… 119
圖4-30 測試樣本1之檢測結果(標準影像(圖4-26(a))與待測正常影像(圖4-26(b))經平滑處理)…………………………………………………... 120
圖4-31 測試樣本1之檢測結果(標準影像(圖4-26(a))與待測瑕疵影像(圖4-26(c)(d))經平滑處理)……………………………………………….. 121
圖4-32 BGA基板樣本(測試樣本2)……………………………………………. 123
圖4-33 測試樣本2之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖4-32(a))與待測正常影像(圖4-32(b))經平滑處理).. 124
圖4-34 測試樣本2之灰階能量圖與相關係數3D分佈圖(標準影像(圖4-32(a))與待測瑕疵影像(圖4-32(c))經平滑處理)…………………… 125
圖4-35 測試樣本2之檢測結果(標準影像(圖4-32(a))與待測正常影像(圖4-32(b))經平滑處理)…………………………………………………... 126
圖4-36 測試樣本2之檢測結果(標準影像(圖4-32(a))與待測瑕疵影像(圖4-32(c))經平滑處理)…………………………………………………... 127
圖B-1 標準影像與待測影像經各種空間濾波處理之結果…………………… 137
圖B-2 各種空間濾波處理結果之灰階能量圖與相關係數3D分佈圖(圖B-1(a1)vs.(a2))………………………………………………………….. 138
圖B-3 各種空間濾波處理結果之灰階能量圖與相關係數3D分佈圖(圖B-1(a1)vs.(a3))………………………………………………………….. 139
圖C-1 灰階標準影像與灰階待測影像(影像大小 像素)……………. 142
圖C-2 灰階影像經高斯平滑濾波器處理之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖C-1(a))與待測正常影像(圖C-1(b))經平滑處理)…………………………………………………….. 143
圖D-1 非結構式瑕疵之測試樣本(影像大小 像素)…………………. 146
圖D-2 高斯平滑濾波器處理結果之灰階能量圖、相關係數次數分配圖與相關係數3D分佈圖(標準影像(圖D-1(a))與待測正常影像(圖D-1(b))經平滑處理)…………………………………………………………….. 147
圖D-3 高斯平滑濾波器處理結果之灰階能量圖與相關係數3D分佈圖(標準影像(圖D-1(a))與待測瑕疵影像(圖D-1(c))經平滑處理)…………….. 148
圖D-4 標準影像(圖D-1(a))與待測正常影像(圖D-1(b))經平滑處理之檢測結果………………………………………………………………………… 149
圖D-5 標準影像(圖D-1(a))與待測瑕疵影像(圖D-1(c))經平滑處理之檢測結果………………………………………………………………………… 150

參考文獻
李淑惠，「X-RAY即時影像強化與瑕疵偵測之研究」，碩士論文，私立元智大學工業工程與管理研究所 (2001)。
蔡雅惠，「彩色圖形比對：元件搜尋與瑕疵檢測之應用」，碩士論文，私立元智大學工業工程與管理研究所 (2001)。
彭光裕，應用電腦視覺技術於表面黏著元件印刷電路板之自動檢測新系統設計及開發」，碩士論文，交通大學工業工程與管理研究所 (1996)。
Bently, W. A., 1979, “The inspection: an Automatic optical printed circuit board(PCB) inspection”, Proc. Soc. Photo-Optical Instrumn. Engrs., 201, pp.37-47.
Cheng, H. D., Tang, Y. Y. and Suen, C. Y., 1991, “VLSI architecture for size-orientation-invariant pattern recognition”, Advanced Computer Technology, Reliable Systems and Applications, Vol. 5, pp. 63-67.
Chen, Y. H., 1994, “Computer vision for industrial inspection through lingustic fuzzy variable inputs”, Control and Instrumentation, Vol. 2, pp. 1349-1353.
Isenor, D. K. and Zaky, S. G., 1986, “Fingerprint pattern using graph matching”, Pattern Recognition, Vol. 19, No. 2, pp. 113-122.
Kai, B. and D. H. Uwe, 2001, “Template matching using fast normalized cross correlation”, Proceedings of SPIE-The International Society for Optical Engineering Vol. 4387, pp. 95-102.
Lewis, J. P., 1995, “Fast normalized cross-correlation”, Vision Interface, pp. 120-123.
Moganti, M., Ercal, F. C., Dagli, H. and Tsunekawa, S., 1996, “Automatic PCB inspection algorithms: a survey”, Computer Vision and Image understanding, Vol. 63, No. 2, pp. 287-313.
Shioyama, T. and J. Hamanaka, 1996, “Recognition algorithm for handprinted chinese characters by 2D-FFT”, International Conference on Pattern Recognition, Vol. 3, pp. 225-229.
Sutton, M. A., M. Cheng, W. H. Peters, Y. J. Chao and S. R. Mchneill, 1986, “Application of an optimized digital correlation method to planar deformation analysis”, Image and Vision Computing, Vol. 4, No. 3, pp. 143-150.
Uenohara, M. and T. Kanade, 1997, “Use of Fourier and Karhunen-Loeve decomposition for fast pattern matching with a large set of templates”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 8, pp. 891-898.
Yuen, P. C., Feng, G. C. and Tang, Y. Y., 1998, “Printed chinese character similarity measurement using ring projection and distance transform”, International Journal of Pattern Recognition and Artificial Intelligence, Vol. 12, No. 2, pp. 209-221.