臺灣博碩士論文加值系統

人臉偵測的應用日益廣泛，重要性也與日俱增，尤其是應用在生物辨識與數位監控系統
上。而眼睛注視焦點的判定，對駕駛者的專注力與廣告注視的研究，也有廣大的應用。因此，本論文提出一個人眼注視焦點判定的方法，可以先過濾一些人臉被遮蔽的使用者，而後經過人臉邊緣偵測。在進行眼睛位置判定的時候，我們的系統也會針對使用者所戴的各種不同顏色的鏡框做去除處理，使眼位判定的效果能更為精準。最後利用霍夫轉換在眼位影像中找出眼珠位置，並據以判斷注視焦點。
我們收集的實驗影像總共272張，影像中只有單一受測者在不特別過濾的背景中，受測者可能配帶眼鏡、遮蔽物(安全帽、口罩)以及墨鏡者。在人臉位置偵測階段，有96.5%的正確率可以抓取到受測者的人臉區域。而在人眼位置偵測階段，擁有96.1%的正確率，可以正確抓取到人眼區域。最後在注視焦點判斷階段，有95.4%的正確率來正確判斷受測者的注視焦點。所以不論在人臉、人眼的偵測上或是注視焦點的判斷，我們都有不錯的成果來証明此研究所提方法之可行性。

The application of human face detection is more extensive and important day by day to be applied to the biometric facial recognition and video surveillance systems. And, the research of attentive focus determination is usually adopted to monitor drivers’ attention and to analyze the attraction of billboards. In this study, we develop an attentive focus determination system by analyzing the characteristics of human eyes. All face pixels whose colors in the range of facial hue are first detected and grouped into several possible face components. The face range is decided by analyzing the projection profiles of detected boundary facial pixels and judge whether the face is covered or sheltered. Then, the position of eyes is located by extracting connected components consisted of non-facial pixels after the color frame elimination of glasses. Finally, the eyeball position is detected by applying the Hough transform and used to determine the attentive focus.
We collect 272 images to evaluate our developed system. At the stage of human face detection, the accurate rate is about 96.5%. The precision rate of human eye position determination exceeds 95.5%. Finally, the exactness ratio of intensive focus judgment is more than 95.4%. The satisfactory experimental results prove the feasibility of our proposed approach and the developed system.

封面內頁
簽名頁
授權書 iii
中文摘要 iv
英文摘要 v
誌謝 vi
目錄 vii
圖目錄 ix
表目錄 xii

第一章 緒論
1.1研究背景與動機 1
1.2 研究目的與方法 2
1.3 研究限制 3
1.4 論文架構 3
第二章 文獻探討
2.1 人臉偵測相關研究 5
2.2 人眼區域定位相關研究 8
2.3 眼位追蹤相關研究 10
第三章 人臉區域的抽取
3.1 色彩空間 12
3.2 人臉膚色分類模型 14
3.3 去除背景雜訊 16
3.4 擷取人臉區域 20
第四章 人眼區域的定位
4.1 遮蔽物存在的判定 25
4.2 人眼區域的定位 26
4.3 眼鏡的偵測與去除 30
第五章 眼珠的偵測與注視焦點的判斷
5.1 眼珠偵測 33
5.2 注視焦點的判斷 37
第六章 實驗結果與分析
6.1 實驗結果 40
6.2 偵測錯誤分析 45
第七章 結論
參考文獻 51


圖目錄

圖1. 1 系統流程圖 4
圖2. 1 膚色在彩色空間中聚集程度 6
圖2. 2 眼睛樣板 8
圖2. 3 投影分析法 9
圖2. 4 影像Purkinje追蹤法 11
圖3. 1 色彩空間比較 13
圖3. 2 大葉資管人臉資料庫 14
圖3. 3 色彩範圍(a)膚色樣本(b)Y分布(c) 分布(d) 分布 15
圖3. 4 膚色擷取(a)輸入的原圖(b)經過 分析以及二值化之後的圖 16
圖3. 5 作一次收縮(erosion) 17
圖3. 6 作一次擴增(dilation) 17
圖3. 7 利用八向相連元件 18
圖3. 8 無人臉之判定(a)原圖臉部幾乎都被遮蔽(b)所抓到的臉部元件不符合面積門檻值，故判定無人臉之存在。 19
圖3. 9 去除其它物件，並留下來可能的人臉區域 19
圖3. 10 邊緣遮罩(a)水平邊緣遮罩(b)垂直邊緣遮罩(c) 3*3遮罩 20
圖3. 11 水平邊緣偵測 21
圖3. 12 垂直邊緣偵測 21
圖3. 13 對圖3.11作水平投影結果 22
圖3. 14 對圖3.12作垂直投影結果 22
圖3. 15 運用一 值先過濾掉一些較小的投影量 23
圖3. 16 邊界搜尋(a)搜尋邊界值的方向(b)所找出的邊界位置 24
圖3. 17 所擷取出來的人臉區 24
圖4. 1 遮蔽物的影響 25
圖4. 2 使用八向相連元件 26
圖4. 3 過濾人臉(a)過濾掉人臉下方的元件(b)過濾一些極小的元件 27
圖4. 4 元件比對(a)四個元件去作兩兩互相的比對(b)元件組合分析表 28
圖4. 5 人眼位置 29
圖4. 6 眼睛配對特殊情形(a)兩組配對的元件(b)使用者配戴墨鏡，無法找到眼睛配對 30
圖4. 7 眼珠被眼鏡所遮蔽的情況 31
圖4. 8 特徵色彩範圍(a)所訓練的特徵影像(b)各個特徵所占區域 32
圖4. 9 去除眼鏡(a)未去除眼鏡時，無法抓取到眼睛區域(b)去眼鏡之後 32
圖5. 1 人眼所在位置 33
圖5. 2 眼珠的特性 34
圖5. 3 眼珠訓練資料庫 34
圖5. 4 眼珠 分佈圖 34
圖5. 5 二值化之後的人眼區域 35
圖5. 6 邊緣偵測之後的人眼區域 35
圖5. 7 霍夫轉換偵測圓所偵測到的眼珠位置 36
圖5. 8 比照原圖所偵測到的眼珠位置 36
圖5. 9 將眼睛區域畫分為九個部份 37
圖5. 10 注視焦點實例 39
圖6. 1 大葉資管人臉資料庫(a)正常人臉(b)佩戴眼鏡之人臉(c)佩帶遮蔽物之人臉(d)佩戴墨鏡之人臉 41
圖6. 2 系統判定與人工判定人臉區域 42
圖6. 3 人臉偵測之正確率以及召回率 43
圖6. 4 人眼偵測之正確率以及召回率 44
圖6. 5 背景物件的色彩、面積與人臉極為相似 46
圖6. 6 口罩跟膚色極為接近之情形 46
圖6. 7 去眼鏡錯誤分析(a)受測者黑色鏡框的遮蔽(b)系統無法去除黑色鏡框，也無法抓取人眼區域 47
圖6. 8 注視焦點(a)受測者直視(b)受測者往下看 47
圖6. 9 受測者的眼睛區域在(a)直視與(b)往下看時，幾乎沒有任何改變,故系統無法判斷其注視焦點 48


表目錄

表6. 1 完整人臉與遮蔽人臉偵測實驗結果 42
表6. 2 依重疊率分析完整人臉位置偵測結果 43
表6. 3 依重疊率分析人眼位置偵測結果 44
表6. 4 注視焦點判斷結果 45

Aitkenhead, M. J., & McDonald, A. J. S. (2003). A neural network face recognition system. Engineering Applications of Artificial Intelligenc, 16, 167-176.
Athanasios, N., & Ioannis, P. (2000). Facial feature extraction and pose determination. Pattern Recognition, 33(11), 1783-1791.
Bianchini, M., Maggini, M., Sarti, L., & Scarselli, F. (2005). Recursive neural networks learn to localize faces. Pattern Recognition Letters, 26(12), 1885-1895.
Dario, M., & Davide, M. (2000). Real-time face location on gray-scale static images. Pattern Recognition, 33(9), 1525-1539.
Erik, H., & Boon, K. L. (2001). Face Detection: A Survey. Computer Vision and Image Understanding, 83, 236-274.
Fasel, B., & Juergen, L. (2003). Automatic facial expression analysis: a survey. Pattern Recognition, 36(5), 259-275.
Guo, C. F., & Pong, C. Y. (2001). Multi-cues eye detection on gray intensity image. Pattern Recognition, 34(5) , 1033-1046.
Huang, L. L., Akinobu, S., Yoshihiro, H., & Hidefumi, K. (2003). Face detection from cluttered images using a polynomial neural network. Neurocomputing, 51, 197-211.
Jie, Y., Weier, L., & Alex, W. (1998). Skin-color modeling and adaptation. Proceedings of Asian Conference on Computer Vision 98, 2, 687-694.
Jie, Y., & Alex, W. (1996). A real-time face tracker. Proc. Third Workshop Applications of Computer Vision, 142-147.
John, A. G., & Nielsen, E. T. (1995). Eye Controlled Media: Present and Future State. Thesis of Bachelor in Information Psychology, Psychological Laboratory, University of Copenhagen, Denmark.
Jyh, Y. D., & Feipei, L. (1997). Region-based template deformation and masking for eye-feature extraction and description. Pattern Recognition, 30(3), 403-419.
Karin, S., &Ioannis, P. (1996). Extraction of facial regions and features using color and shape information. Pattern Recognition, 421-425.
Keun, C. K., & Witold, P. (2005). Face recognition using a fuzzy fisherface classifier. Pattern Recognition, 38(10), 1705-1716.
Liu, D. H., Lam, K. M., & Shen, L. S. (2005). Illumination invariant face recognition.Pattern Recognition, 38(8), 1717-1732.
Rafael, C., & Richard, E. (2001). Digital image processing, New Jersey: Prentice-Hall.
Ryu, Y. S., & Oh, S. Y. (2001). Automatic extraction of eye and mouth fields from a face image using eigenfeatures and multilayer perceptrons. Pattern Recognition, 34(12), 2459-2466.
Selin, B., Bulut, M. M., & Volkan, A. (2002). Projection based method for segmentation of human face and its evaluation. Pattern Recognition Letters, 23(14), 1623-1629.
Tsuyoshi, K., & Mohamed, R. (2003). Iris detection using intensity and edge information. Pattern Recognition , 36(2), 549-562.
Wong, K. W., Lam, K. M., & Siu, W. C. (2003). A robust scheme for live detection of human facesin color images. Signal Processing: Image Communication, 18, 103-114.
Yang, M. H., David, J. K., & Narendra, A. (2002). Detecting Faces in Images: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(1), 34-58.
Yoo, D. H., Kim, J. H., Lee, B. R., & Chung, M. J. (2002). Non-contact eye Gaze tracking system by mapping of corneal reflections. IEEE International Conference on Automatic Face and Gesture Recognition, 101-106.
Zhou, Z. H., & Geng, X. (2004). Projection functions for eye detection. Pattern Recognition, 37(5), 1049-1056.