臺灣博碩士論文加值系統

摘要
臉部影像情緒辨識系統在電腦與人類的互動上為一種非語言的溝通方式，因此成為許多專家學者研究發展的議題。本論文提出了一個兩階段式的影像情緒辨識系統。系統主要分為三個部分，分別為前處理、第一階段篩選以及第二階段分類。在前處理上利用即時的物件偵測法來做影像的臉部擷取；第一階段篩選則使用Long Haar-like濾波器做輸入影像和資料庫的向量運算和比較，再利用兩者比較之結果進行做正面情緒和負面情緒的篩選；第二階段分類則是分別對正面情緒擷取嘴巴作為特徵、以及對負面情緒選取眉毛作為特徵後，再使用Linear Discriminant Function(LDF)對得到的資料進行情緒的分類。最後辨識結果高興和哀傷的辨識率均為86.21%，而生氣的辨識率為75.86%。

Abstract
Facial expression recognition has become a popular subject in because it is a non-verbal communication between computer and human reaction. We propose a two stage recognition algorithm. It separated into three parts, pre-processing, screening for first stage, and recognition for second stage, respectively. We use a real time object detection algorithm to extract the facial image in pre-processing. In screening part, we calculate the vectors of the images and compare with database by using Long Haar-like filters. And the last part, we extract the information from mouth for positive emotion and eyebrow for negative emotion. Finally, we use Linear Discriminant Function (LDF) to recognize the emotion by using these information. The final percentage of recognition that happy and sad are 86.21%, and angry is 75.86%.

目 錄
目錄
第一章、緒論 1
1.1 研究動機與目標 1
1.2 論文架構 6
第二章、研究方法介紹 7
2.1 臉部特徵擷取演算法介紹 7
2.1.1 人臉偵測方法介紹 8
2.1.2 邊緣偵測演算法介紹 16
2.1.3 影像二值化 19
2.1.4 FACS 21
2.2 情緒辨識分類方法簡介 24
2.2.1 線性判別函數 26
第三章、人臉情緒辨識系統流程與架構 29
3.1 前處理 31
3.2 第一階段篩選 33
3.3 第二階段情緒分類 38
第四章、實驗結果 47
4.1 系統平台簡介與資料蒐集 47
4.2 實驗結果 49
第五章、結論與未來展望 58
5.1 結論 58
5.2 未來展望 59
參考文獻 60

圖 目 錄
圖2-1 四種常見之矩形特徵 10
圖2-2 積分矩陣運算範例圖 11
圖2-3 任意矩形特徵計算示意圖 12
圖2-4 (a)輸入影像範例(b)積分影像範例 13
圖2-5 第一特徵與第二特徵相對位置示意圖 15
圖2-6 層疊分類法流程圖 15
圖2-7 Prewitt邊緣運算子 17
圖2-8 Prewitt邊緣運算範例 18
圖2-9 Otsu演算法範例圖 20
圖2-10 人臉特徵運算範例圖 23
圖2-11 支援向量機超平面示意圖 25
圖2-12 一簡單的類神經網路架構圖 26
圖3-1 系統流程圖 30
圖3-2 JAFFE資料庫之人臉偵測結果 32
圖3-3 第一階段篩選流程圖 34
圖3-4 邊緣偵測演算法範例 35
圖3-5 long Haar-like濾波器(26*26) 36
圖3-6 特徵向量運算 37
圖3-7 第二階段情緒分類流程圖 39
圖3-8 (a)原始影像(b)直方圖(c)二直化結果 40
圖3-9 預估嘴巴範圍圖 41
圖3-10 嘴巴特徵擷取 41
圖3-11 嘴巴特徵水平投影和垂直投影 42
圖3-12 JAFFE生氣(a)和哀傷(b)表情範例圖 43
圖3-13 預估眉毛範圍圖 43
圖3-14 哀傷表情眉毛示意圖 44
圖3-15 生氣表情眉毛示意圖 44
圖3-16 眉毛前處理流程圖 45
圖3-17 眉毛特徵水平投影和垂直投影 45
圖4-1 資料庫部份影像 48
圖4-2 正面情緒之(a)原始2維特徵向量散射圖(b)LDF結果 52
圖4-3 誤判為高興情緒之範例影像 52
圖4-4 負面情緒之(a)原始2維特徵向量散射圖(b)LDF結果 54
圖4-5 誤判為生氣情緒之範例影像 55
圖4-6 誤判為哀傷情緒之範例影像 55

表 目 錄
表1-1 相關研究在各步驟所使用的方法 5
表2-1 Adaboost學習演算法流程 14
表2-2 部分人臉下半部AUs範例圖 21
表2-3 部分人臉上半部AUs範例圖 22
表3-1 人臉偵測結果 32
表4-1 測試資料庫詳細資訊 48
表4-2 long Haar-like濾波器篩選結果 50
表4-3 正面情緒與負面情緒篩選結果 50
表4-4 正面情緒ROC曲線分佈結果 53
表4-5 負面情緒ROC曲線分佈結果 56
表4-6 最後分類結果 57

參考文獻
[1] M. Pantic and L.J.M. Rothkrantz, Automatic analysis of facial expressions: The state of the art, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.22, no. 12, pp. 1424-1445, 2000.
[2] P. Ekman, Emotions Revealed: Understanding Faces and Feeling, London: Weidenfeld and Nicholson, 2003.
[3] F. Bourel, C.C. Chibelushi, A.A. Low, Robust Facial Expression Recognition Using a State-Based Model of Spatially-Localised Facial Dynamics, Proc. Fifth IEEE Int. Conf. Automatic Face and Gesture Recognition, pp. 106-111, 2002
[4] M. Pantic, L.J.M. Rothkrantz, An Expert System for Multiple Emotional Classification of Facial Expressions, Proc. 11th IEEE Int. Conf. on Tools with Artificial Intelligence, pp. 113-120, 1999
[5] Y-L. Tian, T. Kanade, J.F. Cohn, Recognizing Action Units for Facial Expression Analysis, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 23, No. 2, pp. 97-115, 2001
[6] J.J. Lien, T. Kanade, J.F. Cohn, C-C. Li, Automated Facial Expression Recognition Based on FACS Action Units, Proc. Third IEEE Int. Conf. Automatic Face and Gesture Recognition, pp. 390-395, 1998
[7] M. H. Yang, D.J. Kriegman, and N. Ahuja, Detecting faces in images: A survey, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, Jan. 2002.
[8] Paul Viola, Michael Jones, Robust Real-Time Face Detection, International Journal of. Computer Vision, vol. 57, no. 2, pp. 137-154, May 2004.
[9] William T. Freeman and Edward H. Adelson. The design and use of steerable filter, IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(9):891–906, 1991.
[10] J.M.S. Prewitt, Object enhancement and extraction, In B.S. Lipkin and A. Rosenfeld, editors, Picture Processing and Psychopictorics. Academic Press, 1970.
[11] Lawrence G. Roberts, Machine Perception Of Three-Dimensional Solids, May 1963.
[12] Otsu N, A threshold selection method from gray-level histograms, IEEE Trans. Systems, Man and Cybernetics, Vol. 9, pp. 62-66 1979.
[13] P. Ekman and W. V. Friesen, The Facial Action Coding System: A Technique for The Measurement of Facial Movement, San Francisco: Consulting Psychologists Press, 1978.
[14] Tian Y. I, Kanade T, Cohn J. F, Recognizing Action Units for Facial Expression Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 2, Feb 2001.
[15] Cortes and V. Vapnik, Support-vector networks, Machine Learning vol. 20, pp. 273-297, 1995.
[16] Michael J. Lyons, Shigeru Akamatsu, Miyuki Kamachi and Jiro Gyoba, Coding Facial Expressions with Gabor Wavelets, In: Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, pp. 200-205, April 1998.
[17] Y. Higashijima, S. Takano and K. Niijima, Face Recognition Using Long Haar-like Filters, Apr. 2008.