臺灣博碩士論文加值系統

現今很多場合中，經常需要計算出席人數作為應用的依據，例如遊樂園入園、博物館入館等，傳統都是使用人力計數器來進行計算，不僅增加了人力成本，對於人數很多的場合，人數計算非常耗時，因此研發有效的人數計算系統也就顯得非常重要。由於深度學習類神經網路的技術成熟，而且分類的效果優良，對於人臉辨認的正確率極高，因此本文提出一個高準確率的自動人數計算系統，透過機器學習方式切割人臉特徵，並且使用卷積神經網路學習人臉五官特徵於確認人臉切割是否正確，達到提高人臉辨認率之目的。首先使用攝像鏡頭拍攝一群人的合照相片，然後以寬鬆條件之Viola-Jones演算法將疑似人臉影像切割成微影像，接著透過卷積神經網路確認切割人臉的正確性，並且排除非人臉的切割範圍，達到提升人臉辨認與人數計算的正確率目的，實驗結果以精確率(precision rate)、召回率(recall rate)、F測度(F-measure)檢測人數計算的效能，也證實本文提出方法確實可快速而有效計算人數與標示人臉位置。

Calculation of the number of people is often required in life, such as repeating counting the number of tourists in a tour group, in a play area etc. If there are a lot of people, the calculation of their number is time consuming. Developing an efficient method to calculate the number of people is really important. Due to recent advances in face detection technologies, faces in a photo can be used as a key for the calculation of the number of people in the scene. In this paper, we propose a simple and effective approach to calculating the number of people in a photo based on a convolutional neural network (CNN) for face recognition. Firstly, the suspected face areas are segmented into blocks by the Viola-Jones algorithm. Then, the detected face blocks are refined through the CNN by excluding the segmented blocks without the human face, so as to enhance the accuracy of face detection. The experimental results show that the proposed system can efficiently and correctly calculate the number of people in a photo, where the performances are presented by the precision rate, recall rate, and F-measure.

目錄
摘要 I
ABSTRACT III
致謝 IV
圖目錄 VI
第一章 緒論 1
1.1 研究動機與目的 1
1.2 文獻探討 2
1.3 章節架構 5
第二章 VIOLA-JONES 演算法 6
2.1 哈爾特徵(HAAR-LIKE FEATURES) 6
2.2 ADABOOST(ADAPTIVE BOOSTING)分類器 7
2.3 級聯分類器(CASCADE CLASSIFIER) 10
第三章 研究方法 12
3.1 訓練集收集 12
3.2 人數計算流程 13
3.2.1 卷積神經網路優化 15
3.2.2 使用卷積神經網路改善人臉區域切割之效能 17
3.3 重複人臉切割範圍處理 24
第四章實驗結果 27
4.1 實驗評估方法 27
4.2 實驗評估數據比較 28
4.2.1 Viola-Jones 演算法與本文研究方法之精確率比較 28
4.2.2 Viola-Jones 演算法與本文研究方法之召回率比較 29
4.2.3 Viola-Jones 演算法與本文研究方法之 F 測度比較 29
4.2.4 Viola-Jones 演算法與本文結果精確率、召回率、F 測度的平均效能比較 30
4.3 VIOLA-JONES與本文之影像結果 31
4.4 自動人數計算系統 36
第五章 結論與未來研究方向 39
5.1 結論 39
5.2 未來研究方向 39
參考文獻 40
簡歷 43

圖目錄
圖 2. 1 哈爾特徵演算法示意圖。 7
圖 2. 3 ADABOOST分類方法示意圖。 8
圖 2. 4 ADABOOST 弱分類器第一次分類結果圖。 9
圖 2. 5 ADABOOST 弱分類器二次分類結果圖。 9
圖 2. 6 ADABOOST 弱分類器三次分類結果圖。 10
圖 2. 7 ADABOOST 弱分類器四次分類結果圖。 10
圖 2. 8 級聯分類器示意圖。 11
圖 3. 1 寬鬆 VIOLA-JONES演算法的人臉範圍切割圖。 12
圖 3. 2 VIOLA-JONES演算法人臉範圍切割圖。 圖。 15
圖 3. 4 人臉卷積神經網路訓練流程圖。 16
圖 3. 5 使用 VIOLA-JONES演算法參數合併門檻參數設定為 1 的人臉範圍切割圖。17
圖 3. 6 使用 1 層卷積層數量的 CNN 進行訓練軌跡圖。 18
圖 3. 7 使用 2 層卷積層數量的 CNN 進行訓練軌跡圖。 19
圖 3. 8 使用 1 層卷積層數量的 CNN 訓練結果圖。 20
圖 3. 9 使用 2 層卷積層數量的 CNN 訓練結果圖。 20
圖 3. 10 使用 4 層卷積層數量的 CNN 進行訓練軌跡圖。 21
圖 3. 11 使用 5 層卷積層數量的 CNN 進行訓練軌跡圖。 22
圖 3. 12 使用 4 層卷積層數量的 CNN 訓練結果圖。 23
圖 3. 13 使用 5 層卷積層數量的 CNN 訓練結果圖。 23
圖 3. 14 不同卷積層數與辨認精確度之關係圖。 24
圖 3. 15 有重複切割之人臉圖片。 25
圖 3. 16 刪除重複人臉切割區塊的結果圖。 26
圖 4. 1 不同影像的人臉辨認精確率比較圖。 28
圖 4. 2 不同影像的人臉辨認召回率比較圖。 29
圖 4. 3 不同影像的人臉辨認 F 測度比較圖。 30
圖 4. 4 人臉辨認精確率、召回率、F 測度的比較圖。 31
圖 4. 5 人臉切割辨認結果範例 1 32
圖 4. 6 人臉切割辨認結果範例 2 33
圖 4. 7 人臉切割辨認結果範例 3 34
圖 4. 8 人臉切割辨認結果範例 4 35
圖 4. 9 人數計算圖形使用者介面示意圖。 36
圖 4. 10 自動人數計算成果範例 1。 37
圖 4. 11 自動人數計算成果範例 2。 37
圖 4. 12 自動人數計算成果範例 3。 38
圖 4. 13 自動人數計算成果範例 4。 38

[1]曾婉菁，「人臉偵測及辨識方法探究」，印刷科技，卷30，期2，頁21-40，民103年6月。
[2]P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Proc. IEEE Comput. Vision Pattern Recog., 2001, vol. 1, pp. 511-518.
[3]「人臉檢測的Viola-Jones方法」。
https://hk.saowen.com/a/9d33b31e72af4963384f53bb52727a6842cc77752392c106ca0a4bf051425f64
[4]T. Ojala, M. Pietikäinen, T. Mäenpää, “Multiresolution gray-scale and rotation invariant texture classification with local binary patterns,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 24, no. 7, pp. 971-987, July 2002, 10.1109/TPAMI.2002.1017623.
[5]H. Kruppa, M. Castrillon-Santana, and B. Schiele. “Fast and robust face finding via local context,” in Proc. IEEE Int. Workshop Visual Surveillance Performance Evaluation Tracking Surveillance, 2003, pp. 157-164.
[6]M. Castrillón, O. Déniz, C. Guerra, and M. Hernández, “ENCARA2: real-time detection of multiple faces at different resolutions in video streams,” J. Visual Commun. Imag. Representation, vol. 18, pp. 130-140, Apr. 2007, 10.1016/j.jvcir.2006.11.004.
[7]R. Lienhart, A. Kuranov, and V. Pisarevsky, “Empirical analysis of detection cascades of boosted classifiers for rapid object detection,” in Proc. DAGM Symp. Pattern Recog., 2003.
[8]N. Dalal, B. Triggs, “Histograms of oriented gradients for human detection,” IEEE Int. Conf. Comput. Vision and Pattern Recog. 2005, vol. 1, pp. 886-893.
[9]Krizhevsky, I. Sutskever, G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in Proc. Int. Conf. Neural Inform. Process. Syst., 2012, pp. 1097-1105.
[10]J. Ng, F. Yang, and L. Davis, “Exploiting local features from deep networks for image retrieval,” in Proc. IEEE Conf. Comput. Vision Pattern Recog. Workshops, 2015, pp. 53-61.
[11]C.Y. Low, A. B.J. Teoh, K.A. Toh, “Stacking PCANet +: an overly simplified convnets baseline for face recognition,” IEEE Signal Process. Lett., vol. 24, no. 11, pp. 1581- 1585, Nov. 2017, 10.1109/LSP.2017.2749763.
[12]K. Wang, Y. Dong, H. Bai, Y. Zhao, K. Hu, “Use fast R-CNN and cascade structure for face detection,” in Proc. IEEE Visual Commun. Image Process., 2016, pp. 1-4.
[13]K. Simonyan, and A. Zisserman, “Very deep convolutional networks for large-scale image recognition, ” arXiv preprint arXiv:1409.1556 (2014).
[14]K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. Int. Conf. Comput. Vision Pattern Recog., 2016.
[15]J. Li, L. Liu, J. Li, J. Feng, S. Yan, T. Sim, “Toward a comprehensive face detector in the wild,” IEEE Trans. Circuits Syst. Video Technol., vol. 29, no. 1, pp. 104-114, Nov. 2017, 10.1109/TCSVT.2017.2778227.
[16]S. Yang, P. Luo, C.C. Loy, X. Tang, “Faceness-net: face detection through deep facial part responses,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 40, no. 8, pp. 1845-1859, Aug. 2018, 10.1109/TPAMI.2017.2738644.
[17]K. Zhang, Z. Zhang, Z. Li, Y. Qiao, “Joint face detection and alignment using multitask cascaded convolutional networks,” IEEE Signal Process. Lett., vol. 23, no. 10, pp. 1499- 1503, Aug. 2016, 10.1109/LSP.2016.2603342.
[18]D. Qu, Z. Huang, Z. Gao, Y. Zhao, X. Zhao, G. Song, “An automatic system for smile recognition based on CNN and face detection,” in Proc. IEEE Int. Conf. Robot. Biomimetics, 2018, pp. 243-247.
[19]Masi, F. Chang, J. Choi, S. Harel, J. Kim, K. Kim, J. Leksut, S. Rawls, Y. Wu, T. Hassner, W. AbdAlmageed, G. Medioni, L.P. Morency, P. Natarajan, R. Nevatia, “Learning pose-aware models for pose-invariant face recognition in the wild,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 2, pp. 379-393, Feb. 2019, 10.1109/TPAMI.2018.2792452.
[20]H. Wu , K. Zhang, G. Tian, “Simultaneous face detection and pose estimation using convolutional neural network cascade,” IEEE Access, vol. 6, pp. 49563-49575, Sep. 2018, 10.1109/ACCESS.2018.2869465.
[21]R. Ranjan, V. M. Patel, R. Chellappa, “Hyperface: a deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 1, pp. 121-135, Jan. 2019, 10.1109/TPAMI.2017.2781233.
[22]K. Bong, S. Choi, C. Kim, H.J. Yoo, “Low-power convolutional neural network processor for a face-recognition system,” IEEE Micro, vol. 37, no. 6, pp. 30-38, Nov. 2017, 10.1109/MM.2017.4241350.
[23]B. Yu, D. Tao, “Anchor cascade for efficient face detection,” IEEE Trans. Image Process., vol. 28, no. 5, pp. 2490-2501, May 2019, 10.1109/TIP.2018.2886790.
[24]K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in Proc. Int. Conf. Internet Content Rating Assoc., 2015.
[25]C. M. Bishop, Neural networks for pattern recognition, Oxford university press, 1995.
[26]「哈爾特徵」。
https://zh.wikipedia.org/wiki/%E5%93%88%E5%B0%94%E7%89%B9%E5%BE%81
[27]歐峻任、陸清達、王玲玲、林家安、沈俊宏，「使用卷積類神經網路於照片中人臉截取之研究」，2019年離島資訊技術與應用研討會，頁558-564，台中，國立中興大學，民108年5月24-26日。