臺灣博碩士論文加值系統

隨著科技蓬勃的發展，經由影像做人臉辨識的相關技術逐漸興起，且現今社會治安防護的問題依然存在，因此人臉辨識技術慢慢在生活上有很廣泛地應用。故本論文主要基於EmguCV實作校園犯罪預防之人臉辨識系統，一個類似保全的校園安全人臉辨識系統，用於解決校園安全問題，而該校園安全人臉辨識系統搭載於校園攝影機上加已提升校園安全犯罪的防護，在校園攝影機啟動的情況下，首先，系統會從攝影機獲取影像，並且擷取和記錄下這個人臉特徵，藉由訓練好的分類器來進行識別，當以後這個人進行識別和驗證時，會提出人臉特徵資料和現場擷取到的人臉特徵資料進行比對，當兩者的相似程度到達一定的閥值，就認證或識別出這個人的身份。然而，前面所述的技術僅於公眾場合環境下的識別，故本論文所要實現的是架設攝影機於校園環境，與前者相比，校園外環境下會遇到以下二種問題，第一種會遇到在人臉偵測後會因為光源變化、移動或遮蔽人臉導致人臉幀的遺漏問題，第二種則是在人來人往之情況下，攝影畫面偵測後辨識多個身份為「陌生人」的人臉問題，那會使得如果沒有在資料庫的人臉會一直判定身份為「陌生人」，因此，本論文加上了兩種方法，第一種方法則是加入了人臉追蹤技術在偵測辨識之後，減少了在攝影機範圍內偵測辨識完畢後因光源變化、移動或遮蔽人臉時，偵測人臉幀捕捉遺漏的問題，第二種方法則是陌生人可疑率，它會自動訓練身份為「陌生人」的人臉，訓練完畢後進行「陌生人」身份分類，再運用統計分析來判斷此身份為「陌生人」的可疑率與該陌生人的嚴重度。最後，本論文辨識人臉的方法以PCA、FisherFaces、LBPH實作出，並且可以用主動式的方式切換所想要的方法。

Follow the rapid growth of technology,related techniques for Face Recognition have slowly risen. And with the persisting social security problems nowadays,Face Recognition started to widely applies in people’s life. Hence,This paper discusses about implementation of EmguCV,a face recognition system,in campus for crime prevention.When incorporated into the campus camera,enhances the campus security by identifying.The system will capture and record the person facial features via the campus camera for the use of trained classifier.These classified individual data of facial features is then used for identity recognition by comparing with image captured on-site.When the degree of similarity between saved and on-site data reaches a certain threshold,the person will be verified. However,the above mentioned technique only works well in public environment.Compared with the former,campus environment will encounter the following two issues.Firstly,light,movement or face being covered could render omissions.Secondly,the come-and-go of people will result in multiple identities being detected as "Strangers" which such faces will continuously judged as "Strangers" if they are not in face database.So, this paper added two technologies.One is face tracking technology that minimize omission issue due to light,movement,or covered face.The second technique is strangers suspicious rate.It automatically trains "Strangers" and do classification thereafter.Then uses statistical analysis to determine the severity of suspicious rate of the "Strangers".Finally,this paper based on face identification methods PCA,FisherFaces,and LBPH, and allow switching to the desired method in an active way.

目錄
第壹章 緒論 1
1.1 研究背景 1
1.2 研究動機與目的 2
1.3 論文架構 2
第貳章 文獻蒐集與探討 3
2.1 生物辨識相關文獻概述 3
2.1.2 虹膜辨識(Iris) 4
2.1.3 掌型辨識 4
2.1.4 人臉辨識(Face) 5
2.1.5 生物特徵辨識方法及比較 5
2.2 影像處理相關知識 6
2.2.1 灰階影像 7
2.2.2 二值化 7
2.2.3 直方圖均化(histogram equalization) 8
2.2.4 Canny邊緣偵測(Edge Detection) 8
2.2.5 色彩空間 12
2.2.6 形態學 13
2.2.7 連通標記法(connected-component) 16
2.2.8 平滑濾波器 17
2.3 人臉偵測 18
2.3.1 膚色偵測方法 22
2.3.2 Viola-Jones方法介紹 23
2.4 人臉辨識 27
2.4.1 主成份分析(Principle Component Analysis–PCA) 27
2.4.2 線性鑑別式分析(Linear Discriminant Analysis -LDA) 30
2.4.3 Fisherface 33
2.4.4 局部二值模式(Local Binary Pattern Histogram，LBPH) 35
2.5 人臉追蹤 37
2.6 EmguCV介紹 39
第參章 人臉偵測與辨識方法及系統架構 41
3.1 本研究之人臉辨識流程 41
3.1.1 WebCam人臉偵測 42
3.1.2 人臉影像大小正規化 43
3.1.3 訓練人臉資料庫 43
3.1.4 人臉辨識流程 49
3.1.5 人臉追蹤流程 49
3.1.6 陌生人嚴重度判斷 50
3.2 系統架構與介面功能 50
3.2.1 主畫面-子系統1 51
3.2.2 清單列 52
3.2.3 訓練器-子系統2 55
3.2.4 整體資料庫 57
3.2.5 搜尋錄影資訊 60
3.3 追蹤及辨識系統說明 62
3.3.1 Camshift追蹤人臉測試 62
3.3.2 陌生人自動納入資料庫 64
第肆章 實驗結果 69
4.1 系統環境設備與實驗參數設定 69
4.2 實驗測試流程 70
4.3 實驗結果 72
實驗一:三種辨識方法的辨識時間及辨識率 72
實驗二:少量訓練時的辨識 114
實驗三:進入高風險資料庫的進入率 126
第伍章 結論與未來展望 135
5.1 結論 135
5.2 未來展望 135
參考文獻 137

表目錄
第壹章
表2-1.生物特徵辨識方法及比較 6
表2-2.人臉偵測方法及代表著作(引自[2]) 21
第肆章
表4-1.系統環境與設備 69
表4-2.實驗 參數設定 72
表4-3.實驗一 實驗設定 73
表4-4.實驗一 PCA辨識Unknown1 77
表4-5.實驗一 PCA 辨識Unknown2 80
表4-6.實驗一 PCA 辨識Unknown3 83
表4-7.實驗一 PCA 辨識Unknown4 86
表4-8.實驗一 Fiaherface辨識Unknown1 89
表4-9.實驗一 Fiaherface辨識Unknown2 92
表4-10.實驗一 Fiaherface辨識Unknown3 95
表4-11.實驗一 Fiaherface辨識Unknown4 98
表4-12.實驗一 LBPH辨識Unknown1 102
表4-13.實驗一 LBPH辨識Unknown2 105
表4-14.實驗一 LBPH辨識Unknown3 108
表4-15.實驗一 LBPH辨識Unknown4 111
表4-16.實驗一 三種方法之平均時間及辨識率 112
表4-17.實驗二 實驗設定 114
表4-18.實驗二 PCA辨識 117
表4-19.實驗二 FisherFace辨識 120
表4-20.實驗二 LBPH辨識 124
表4-21.實驗三 實驗設定 126

圖目錄
第貳章
圖2-1.指紋辨識簡易流程圖 4
圖2-2.虹膜辨識簡易流程圖 4
圖2-3.掌形辨識簡易流程圖 5
圖2-4.人臉辨識簡易流程圖 5
圖2-5.Lena灰階影像 7
圖2-6.Lena二值化影像(門檻值85) 8
圖2-7.(a)原輸入灰階影像 (b)經過高斯濾波器後的平滑影像(圖片引自[1]) 9
圖2-8.經過(2.8或2.9公式)求得的梯度影像(圖片引自[1]) 10
圖2-9.非最大抑制。其中梯度具有鄰近地區最大值邊緣像素保留下來。(圖片引自[1]) 11
圖2-10.邊緣的閾值，在(b)強邊緣為白色，而弱邊緣是灰色，而在兩個閾值以下的邊緣被刪除。(圖片引自[1]) 11
圖2-11.邊緣追蹤、最後完成影像。中間的影像顯示強邊緣為白色，藍色弱邊緣其他紅色的弱邊緣連接到強邊緣。(圖片引自[1]) 12
圖2-12.二值化Lena影像經過侵蝕後的影像(b) 14
圖2-13.二值化Lena影像經過膨脹後的影像(b) 15
圖2-14.四連通與八連通示意圖 16
圖2-15.平滑濾波器遮罩 17
圖2-16.人臉辨識流程圖[49] 18
圖2-17.膚色偵測後座二值化影像，白色區域判定為膚色 22
圖2-18.八連通標記法後的影像差別，非人臉區域及被消除 23
圖2-19.Haar-like特徵 24
圖2-20.點(x,y)處的任意積分影像值 24
圖2-21.積分影像，矩形D的灰階值和為4+1-(2+3) 25
圖2-22.AdaBoost演算法選出的第一及第二個特徵 26
圖2-23.串級式分類示意圖 26
圖2-24.典型的CAMSHIFT流程圖[42] 37
圖2-25.EmguCV封裝(引自[47]) 40
第參章
圖3-1.人臉辨識系統流程圖 41
圖3-2.利用EmguCV偵測後影像 42
圖3-3.多人臉偵測 43
圖3-4.人臉正規化之結果 43
圖3-5.二維向量轉一維向量 45
圖3-6.Fisherfaces流程圖 48
圖3-7.人臉追蹤流程圖 49
圖3-8.系統架構 51
圖3-9.系統介面與功能(主畫面) 51
圖3-10.系統介面與功能(執行後主畫面) 52
圖3-11.清單(檔案) 53
圖3-12.清單(設定) 54
圖3-13.調整偵測參數 54
圖3-14.清單(影像來源) 55
圖3-15.清單(辨識器類型) 55
圖3-16.清單(開啟訓練器) 56
圖3-17.訓練器視窗 56
圖3-18.清單(資料) 58
圖3-19.人臉資料庫(自製 + Yale資料庫) 58
圖3-20.訓練集(部分圖) 59
圖3-21.統計圓餅圖 60
圖3-22.搜尋錄影資訊 61
圖3-23.自由調用人臉錄影資料(範例圖) 61
圖3-24.側臉追蹤 62
圖3-25.半遮蔽追蹤 63
圖3-26.半遮蔽時追蹤2 63
圖3-27.仿色系遮蔽時Camshift的缺點 64
圖3-28.追蹤受強光照耀的影響 64
圖3-29.陌生人訓練 65
圖3-30.陌生人訓練到資料庫內 65
圖3-31.陌生人儲存在偵測的資料 66
圖3-32.辨識陌生人後結果(權重值為3) 66
圖3-33.偵測六次後的資料 67
圖3-34.辨識陌生人結果(權重值為6) 67
圖3-35.高風險資料庫 68
第肆章
圖4-1.系統所佔CPU之記憶體 69
圖4-2.實驗測試流程圖 71
圖4-3.實驗一 整體資料庫(自製 + Yale資料庫) 71
圖4-4.實驗一 Unknown1自動訓練 73
圖4-5.實驗一 Unknown2自動訓練 73
圖4-6.實驗一 Unknown3自動訓練 73
圖4-7.實驗一 Unknown4自動訓練 74
圖4-8.實驗一 PCA時間 86
圖4-9.實驗一 Fisherface時間 99
圖4-10.實驗一 LBPH時間 112
圖4-11.實驗一 三種方法的時間 113
圖4-12.實驗一 三種方法之辨識率直方圖 113
圖4-13.實驗二 PCA少量訓練之辨識 117
圖4-14.實驗二 FisherFace少量訓練之辨識 121
圖4-15.實驗二 LBPH少量訓練之辨識 125
圖4-16.實驗二 三種方法之辨識率直方圖 125
圖4-17.實驗三 Unknown1當120s時進入高風險資料庫 127
圖4-18.實驗三 Unknown2當120s時進入高風險資料庫 127
圖4-19.實驗三 Unknown3當120s時進入高風險資料庫 128
圖4-20.實驗三 Unknown4當120s時進入高風險資料庫 128
圖4-21.實驗三 Unknown1經過次數為六 129
圖4-22.實驗三 Unknown1經過次數六次後納入資料庫 129
圖4-23.實驗三 Unknown2經過次數為六 129
圖4-24.實驗三 Unknown2經過次數六次後納入資料庫 130
圖4-25.實驗三 Unknown3經過次數為六 130
圖4-26.實驗三 Unknown3經過次數六次後納入資料庫 130
圖4-27.實驗三 Unknown4經過次數為六 131
圖4-28.實驗三 Unknown4經過次數六次後納入資料庫 131
圖4-29.實驗三 Unknown1經過次數為三 131
圖4-30.實驗三 Unknown1經過次數三次及停留六十秒後納入資料庫 132
圖4-31.實驗三 Unknown2經過次數為三 132
圖4-32.實驗三 Unknown2經過次數三次及停留六十秒後納入資料庫 132
圖4-33.實驗三 Unknown3經過次數為三 133
圖4-34.實驗三 Unknown3經過次數三次及停留六十秒後納入資料庫 133
圖4-35.實驗三 Unknown4經過次數為三 133
圖4-36.實驗三 Unknown4經過次數三次及停留六十秒後納入資料庫 134
圖4-37.實驗三 系統成功率 134

[1]John Canny,“A computational approach to edge detection,”IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.8,no.6, pp.679-698,1986,November.
[2]M.H.Yang,D.Kriegman,and N.Ahuja,“Detecting Faces in Images:A Survey,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.24,no.1,pp.34-58,2002,January.
[3]G.Yang and T.S.Huang,“Human Face Detection in Complex Background,”Pattern Recognition,vol.27,no.1,pp.53-63,1994,January.
[4]K.C.Yow and R.Cipolla,“Feature-Based Human Face Detection,”Image and Vision Computing,vol.15,no.9,pp.713-735, 1997,September.
[5]T.K.Leung,M.C.Burl and P.Perona,“Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching,”Proceedings of IEEE International Conference on Computer Vision,pp.637-644,1995,June.
[6]Y.Dai and Y.Nakano,“Face-Texture Model Based on SGLD and Its Application in Face Detection in a Color Scene,”Pattern Recognition, vol.29,no.6,pp.1007-1017,1996,June.
[7]S.McKenna,S.Gong and Y.Raja,“Modeling Facial Color and Identity with Gaussian Mixtures,”Pattern Recognition, vol.31,no.12, pp.1883-1892, 1998,December.
[8]J.Yang and A.Waibel,“A Real-Time Face Tracker,”Proceedings Third IEEE Applications Of Workshop On Computer Vision,pp.142-147,1996, December.
[9]R.Kjeldsen and J.Kender,“Finding Skin in Color Images,” Proceedings of the Second International Conference on Automatic Face and Gesture Recognition,pp.312-317,1996,October.
[10]I.Craw,D.Tock and A.Bennett,“Finding Face Features,”Proc.Second European Conference on Computer Vision Santa Margherita Ligure, Vol.588,pp.92-96,1992.
[11]A.Lanitis,C.J.Taylor and T.F.Cootes,“An Automatic Face Identification System Using Flexible Appearance Models,”Image and Vision Computing,vol.13,no.5,pp.393-401,1995,June.
[12]Lin-Lin Huang,Akinobu Shimizu,Yoshihiro Hagihara,Hidefumi Kobatake,“Face detection from cluttered images using a polynomial neural network,”Neurocomputting,vol.51,pp.197-211,2003,April.
[13]Lin-Lin Huang,Akinobu Shimizu,Yoshihiro Hagihara,Hidefumi Kobatake,“Gradient feature extraction for classification-based face detection,”Pattern Recognition,vol.36,no.11,pp.2501-2511,2003, November.
[14]Lin-Lin Huang,Akinobu Shimizu,Hidefumi Kobatake,“Robust face detection using Gabor filter features,”Pattern Recognition Letters, vol.26,no.11,pp.1641-1649,2005,August.
[15]Paul Viola,Michael Jones,“Robust Real-time Object Detection,”Second International Workshop on Statistical and Computational Theories of Vision-Modeling,Learning,Computing,and Sampling,2001,July.
[16]G.Yang and T.S.Huang,“Human Face Detection in Complex Background,” Pattern Recognition,vol.27,no.1,pp.53-63,1994,January.
[17]K.C.Yow and R.Cipolla,“Feature-Based Human Face Detection,”Image and Vision Computing,vol.15,no.9,pp.713-735, 1997,September.
[18]T.K.Leung,M.C.Burl and P.Perona,“Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching,”Proceedings of IEEE International Conference on Computer Vision,pp.637-644,1995,June.
[19]Y.Dai and Y.Nakano,“Face-Texture Model Based on SGLD and Its Application in Face Detection in a Color Scene,”Pattern Recognition, vol.29,no.6,pp.1007-1017,1996,1996,June.
[20]S.McKenna,S.Gong and Y.Raja,“Modeling Facial Color and Identity with Gaussian Mixtures,”Pattern Recognition,vol.31,no.12,pp.1883-1892, 1998,December.
[21]R.Kjeldsen and J.Kender,“Finding Skin in Color Images,” Proceedings of the Second International Conference on Automatic Face and Gesture Recognition,pp.312-317,1996,October.
[22]A.Lanitis,C.J.Taylor and T.F.Cootes,“An Automatic Face Identification System Using Flexible Appearance Models,”Image and Vision Computing,vol.13,no.5,pp.393-401,1995,June.
[23]M.Turk and A.Pentland,“Eigenfaces for Recognition,”Journal of Cognitive Neuroscience,vol.3,no.1,pp.71-86,1991.
[24]K.-K.Sung and T.Poggio,“Example Based Learning for View-Based Human Face Detection,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.20,no.1,pp.39-51,1998,January.
[25]H.Rowley,S.Baluja and T.Kanade,“Neural Network-Based Face Detection,”Proceedings of IEEE Conference on Computer Vision and Pattern Recognition ,pp.203-308,1998,January.
[26]E.Osuna,R.Freund and F.Girosi,“Training Support Vector Machines:An Application to Face Detection,”Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,pp.130-136, 1997,June.
[27]H.Schneiderman and T.Kanade,“Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition,”
Proceedings.1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat.No.98CB36231),pp.45-51,1998,June.
[28]A.Rajagopalan,K.Kumar,J.Karlekar,R.Manivasakan,M.Patil,U.Desai,P. Poonacha and S.Chaudhuri,“Finding Faces in Photographs,”Proc.Sixth IEEE Int'l Conf. Computer Vision,pp.640-645,1998.
[29]M.S.Lew,“Information Theoretic View-Based and Modular Face Detection,”Proceedings of the Second International Conference on Automatic Face and Gesture Recognition,pp.198-203,1996,October.
[30]A.J.Colmenarez and T.S.Huang,“Face Detection with Information-Based Maximum Discrimination,”Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,pp.782-787, 1997.
[31]S.L.Phung and D.Chai,“Skin Segmentation Using Color Pixel Classification:Analysis and Comparison,”IEEE Transactions on pattern analysis and machine intelligence,vol.27,no.1,pp.148-154,2005, January.
[32]Chiunhsiun Lin,“Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network,”Pattern Recognition Letters,vol.28,no.16,2007,December.
[33]G.Kukharev and A.Nowosielski,“Visitor Identification-Elaborating Real Time Face Recognition System”In Proc.12th Winter School on ComputerGraphics(WSCG),pp.157-164, 2004,February.
[34]H.Araujo,J.Dias,“An introduction to the log-polar mapping [image sampling],”Proceedings II Workshop on Cybernetic Vision,pp.139-144, 1996,December.
[35]Yoav Freund and Robert E.Schapire,“A decision-theoretic generalization of on-line learning and an application to boosting,” Journal of Computer and System Sciences,Vol.55,no.1,pp.119-139, 1997,August.
[36]M.A.Turk and A.P.Pentland,“Face recognition using eigenfaces,” Proceedings 1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (91CH2983-5),pp.586-591, 1991,June.
[37]P.N Belhumeur,J.P.Hespanha and D.J.Kriegman,“Eigenfaces vs. Fisherfaces:recognition using class specific linear projection,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.19,no. 7,pp.711-720,1997,July.
[38]M.Kirby,L.Sirovich,“Application of the Karhunen-Loeve Procedure for the Characterization of Human Faces,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.12,no.1,pp.103-108,1990, August.
[39]數位影像處理(吳成柯、戴善榮、程湘君和雲立實譯)．台北：儒林．(原作1992年出版) (1996)。
[40]陳俊達．以頭部姿勢應用於家電與足形機器人之研究。國立中央央大學電機工程學系碩士論文(2009).
[41]R.A.Fisher,“The Statistical Utilization of Multiple Measurements,”Annals of Human Genetics,vol.8,pp.376-386,1938, November.
[42]林顯昌．改良CAMSHIFT 之抗遮蔽人臉追蹤研究。世新大學管理學資訊管理學系碩士論文(2008)。
[43]W.S.Lee,H.J.Lee,J.H.Chung,“Wavelet-based FLD for facerecognition,”Proceedings of the 43rd IEEE Midwest Symposium on Circuits and Systems [front matter],vol.2,pp.734-737,2000,August.
[44]T.Ojala,M.Pietikäinen and D.Harwood,“Performance evaluation of texture measures with classification based on Kullback discrimination of distributions,”Proceedings of 12th International Conference on Pattern Recognition,vol.1,pp.582-585,1994.
[45]T.Ojala,M.Pietikäinen and D.Harwood,“A Comparative Study of Texture Measures with Classification Based on Feature Distributions,”Pattern Recognition,vol.29,no.1,pp.51-59, 1996,January.
[46]Xiaoyu Wang,Tony X.Han,Shuicheng Yan,“An HOG-LBP Human Detector with Partial Occlusion Handling,”2009 IEEE 12th International Conference on Computer Vision,pp.32-39,2009,September.
[47]EmguCV網站:http://www.emgu.com/wiki/index.php/Main_Page,2016,May.
[48]FEI Face Database:http://fei.edu.br/~cet/facedatabase.html,March , 2012.
[49]Facial Recognition(人臉辨識、人脸识别、顔認識システム、얼굴 인식):http://ccw1986.blogspot.tw/2013/01/knowledgeface-detection-recognition.html,2016.