臺灣博碩士論文加值系統

遠距教學是目前一些大專院校用於教學的方式之一，其優點是修課學生可以在任何時間或地點進行課程修習。在一些學術單位中，對於學生利用遠距學習所獲得的學分數已表示承認，不過在這樣的學習模式之下，必須仰賴修課學生良好的自主能力。在不同的學習環境之下，學生很有可能會因為一些外在的因素而導致分心，如東張西望或打瞌睡等情形發生。本研究的目的，希望能夠提供一個全時的偵測系統，結合影像處理及辨識技術，從使用者臉部表情及操作行為模式中獲得特徵的變化，利用貝氏網路模型根據所獲得的特徵變化資訊推論修課學生在進行遠距上課時的專心程度。
在本研究中，使用者表情及行為特徵皆有不錯的偵測率，透過貝氏網路輸入不同特徵變化進行精神狀態推論後，將能夠達到更接近於實際使用者精神狀態的結果。

Distance learning is one of the teaching modes in some universities. The advantage is that students could study in anytime and anywhere. Students could get the points under the form, but there are some drawbacks. The learning performance is determined by oneself. Especially the different learning environments maybe result to the negative learning effects. (e.g., The appearances of the drowsiness and inattention.) The motivation of the research is to provide a full-time detection system for monitoring the learning process. We will combine the image processing with recognition technology for the system core. The features of the facial expression and user operating behavior are the important evidences. We will collect those evidences and build a Bayesian Networks Model for inferring whether the student is concentrated.
In our experiment, the detecting rates of the features of expression and behavior are well. To inferring the mentality according to Bayesian Networks the results will near the actual personal mentality.

目　錄
第一章　序論 1
1.1 研究背景 1
1.2 研究動機及目的 2
1.3 章節概要 3
第二章　相關研究探討 4
2.1疲勞度測試類型 4
2.1.1 生理狀態測量 4
2.1.2 行為狀態測量 5
2.1.3 視覺測量法 5
2.1.4 效能測量法 6
2.2 貝氏網路模型 6
2.2.1貝氏網路基本型態 7
2.2.2建立貝氏網路 8
2.3 人臉及臉部特徵偵測 9
2.3.1人臉偵測 10
2.3.2眼部特徵偵測 13
2.3.3嘴巴特徵偵測 14
第三章　系統架構 17
3.1 系統環境及需求 17
3.1.1 硬體環境 17
3.1.2 軟體需求 17
3.2 系統架構 17
3.2.1 用戶端影像取得 18
3.2.2 特徵偵測及變化之判定 19
3.2.3 精神狀態偵測 19
第四章　精神狀態偵測 20
4.1貝氏網路模型的建立 20
4.2 條件機率表的建立 22
第五章 特徵取得、追蹤及狀態定義 28
5.1人臉偵測 29
5.2 臉部特徵偵測 33
5.2.1嘴巴特徵偵測 33
5.2.2眼睛特徵偵測 36
5.3特徵追縱 39
5.4特徵狀態定義 41
5.4.1表情特徵定義： 42
5.4.2行為特徵定義： 45
第六章　系統設計 47
6.1系統運作流程 47
6.2系統介面 49
第七章　實驗結果 51
7.1特徵偵測結果 51
7.2特徵追蹤結果 53
7.3特徵變化偵測結果 55
7.4使用者精神偵測 60
第八章　結論及建議 65
8.1 結論 65
8.2未來研究方向 66
參考文獻 67

圖　目　錄
圖2-1輸入影像處理流程圖 7
圖2-2灰階影像水平投射 14
圖2-3嘴角偵測 15
圖2-4嘴部區域水平及垂直投射 16
圖3-1系統架構圖 18
圖4-1精神狀態之貝氏網路模型 22
圖4-2條件機率調整過程圖 23
圖5-1輸入影像處理流程圖 28
圖5-2膚色統計範圍圖 29
圖5-3膚色範圍擷取 31
圖5-4膚色範圍二值化 32
圖5-5 3x3遮罩 32
圖5-6影像斷開處理 32
圖5-7標記後的二值化影像 33
圖5-8嘴巴偵測流程圖 34
圖5-9嘴巴偵測處理過程 34
圖5-10嘴巴座標定義 36
圖5-11眼睛偵測流程圖 37
圖5-12眼睛偵測處理過程 37
圖5-13眼睛座標定義流程 39
圖5-14眼睛座標定義 39
圖5-15眼睛追踨過程 41
圖5-16眼睛座標定義流程 43
圖5-17張嘴偵測 44
圖5-18頭部轉動圖 45
圖6-1系統流程圖 48
圖6-2系統介面 50
圖6-3精神狀態輸出曲線 50
圖7-1眼睛追蹤影像 54
圖7-2嘴巴追踨影像 55
圖7-3眨眼偵測影像 56
圖7-4張嘴偵測影像 57
圖7-5頭部旋轉偵測影像 58
圖7-6離開座位偵測 60
圖7-7使用者精神狀態分佈 61
圖7-8 1~100影像時間的精神狀態分佈 61
圖7-9 250~350影像時間的精神狀態分佈 62
圖7-10 650~780影像時間的精神狀態分佈 62
圖7-11 950~1015影像時間的精神狀態分佈 63
圖7-12 使用者精神狀態 64


表　目　錄
表4-1 狀態名稱之別名對照表 24
表4-2 Learner Leaving事件機率表 24
表4-3 Leaving System Temporary事件機率表 24
表4-4 User Head turn事件機率表 24
表4-5 Mouth stretch事件機率表 24
表4-6 Eyes Closur事件機率表 25
表4-7 Inattention條件機率表 25
表4-8 Drowsiness條件機率表 25
表4-9 Fall asleep條件機率表 26
表4-10 Mentality條件機率表 26
表7-1臉部偵測結果 51
表7-2眼睛偵測結果 52
表7-3嘴巴偵測結果 52
表7-4眼睛追蹤結果 53
表7-5嘴巴追蹤結果 55
表7-6眨眼偵測結果 56
表7-7張嘴偵測結果 57
表7-8頭部旋轉偵測結果 58
表7-9離開座位偵測結果 59

[1]T. N. Bhaskar, F. T. Keat, S. Ranganath, and Y. V. Venkatesh, “Blink Detection and Eye Tracking for Eye Localization,” IEEE International Conference on Convergent Technologies for Asia-Pacific Region, 2003, pp. 821-824.
[2]S. Birchfield, “An Elliptical Head Tracker,” IEEE International Conference on Computer Vision and Pattern Recognition, June 1998, pp. 1710-1714.
[3]E. Castillo, J. M. Gutierrez and A. S. Hadi, Expert Systems and Probabilistic Network Models, Springer-Verlag, New York, 1997.
[4]W. Dong and X. Wu, “Driver Fatigue Detection Based on the Distance of Eyelid,” IEEE International Workshop on VLSI Design & Video Tech, 2005, pp. 365-368.
[5]M. Eriksson and N. P. Papanikotopoulos, “Eye-Tracking for detection of driver fatigue,” IEEE Conference on Intelligent Transportation System, 1997, pp. 314-319.
[6]K. Grauman, M. Betke, J. Gips, and G. R. Bradski, “Communication via Eye Blinks-Detection and Duration Analysis in Real Time,” IEEE International Conference on Computer Society, 2001, pp. 1010-1017.
[7]H. Gu and Q. Ji, “An Automated Face Reader for Fatigue Detection,” IEEE International Conference on Automatic Face and Gesture Recognition, 2004, pp. 111-116.
[8]T. Hamada, T. Ito, K. Adachi, T. Nakano, and S. Yamamoto, “Detecting Method for Drivers’ Drowsiness Applicable to Individual Features,” IEEE Proceedings on Intelligent Transportation Systems, 2002, vol. 2, pp. 1405-1410.
[9]W. B. Horng, C. Y. Chen, Y. Chang and C. H. Fan, “Driver Fatigue Detection Based on Eye Tracking and Dynamic Template Matching,” IEEE International Conference on Networking, Sensing and Control, march 2004, vol. 1, pp. 7-12.
[10]T. Ito, S. Mita, K. Kozuka, T. Nakano and S. Yamamoto, “Driver Blink Measurement by the Motion Picture Processing and it’s Application to Drowsiness Detection,” IEEE 5th International Conference on Intelligent Transportation Systems, 2002, pp. 168-173.
[11]Q. Ji, Z. Zhu, and P. Lan, “Real-Time Nonintrusive Monitoring and Prediction of Driver Fatigue,” IEEE Transactions on Vehicular Technology, July 2004, vol. 53, NO. 4, pp. 1052-1068.
[12]P. Lan, Q. Ji, and C. G. Looney, “Information Fusion with Bayesian Networks for Monitoring Human Fatigue,” IEEE Proceedings of the Fifth International Conference on Information Fusion, vol. 1, July 2002, pp. 535-542.
[13]T. Lee, S. K. Park, and Mignon Park, “A New Facial Features and Face Detection Method for Human-Robot Interation,” Proceedings of the 2005 IEEE International Conference on Robotics and Automation, 2005, pp.2063-2068.
[14]Mocrosoft, “Process Class”, Available: http://msdn.microsoft.com/library
[15]T. Miyakawa, H. Takano, and K. Nakamura, “Development of Non-contact Real-time Blink Detection System for Doze Alarm,” SICE 2004 Annual Conference, August 2004, vol. 2, pp. 1626-1631.
[16]K. Murphy, “A Brief Introduction to Graphical Models and Bayesian Networks,” Available: http://www.cs.ubc.ca/umurphyk/Bayes/bnintro.html
[17]W. Rongben, G. Lie, T. Bingliang, and J. Lisheng, “Monitoring Mouth Movenent for Driver Fatigue or Distraction with One Camera,” IEEE International Conference on Intelligent Transportation Systems, October 2004, pp. 314-316.
[18]P. Sherry(2000), “Fatigue Countermeasures in the Railroad Industry-Past and Current Developments,” Ph.D. Thesis, Counseling Psychology Program, Inter-modal Transportation Institute, University of Denver.
[19]S. Singh and N. P. Papanikolopoulos, “Monitoring Driver Fatigue Using Facial Analysis Techniques,” IEEE International Conference on Intelligent Transportation Systems, 1999, pp. 314-318.
[20]P. Smith, M. Shah and N. d. V. Lobo, “Determining Driver Visual Attention with One Camera,” IEEE Transactions on Intelligent Transportation Systems, 2004, vol. 4, pp. 205-218.
[21]M. Soriano, B. Martinkauppi, S. Huovinen, and M. Laaksonen, “Using the Skin Locus to Cope with Changing Illumination Conditions in Color-Based Face Tracking,” IEEE Symposium on Signal Processing, 2000, pp. 383-386.
[22]R. Stiefelhagen, J. Yang and A. Waibel, “Model-Based Gaze-Tracking System,” IEEE International Joint Symposia on Intelligence and Systems, 1996, pp. 304-310.
[23]Sun Microsystems, “Java Media Framework API(JMF)”, Available: http://java.sun.com/products/java-media/jmf/index.jsp
[24]H. Ueno, M. Kaneda and M. Tsukino, “Development of Drowsiness Detection System,” IEEE International Conference on Vehicle Navigation and Information Systems, 1994, pp. 15-20.
[25]T. Wang and P. Shi, “Yawning Detection For Determining Driver Drowsiness,” IEEE International Workshop on VLSI Design and Video Technology, 2005, pp. 373-376.
[26]Z. H. Zhou and X. Geng, “Projection Functions for Eye Detection,” Pattern Recognition, vol. 37, no. 5, 2004, pp. 1049 – 1059.
[27]中山網路大學，“網路學生手冊”，瀏覽自http://cu.nsysu.edu.tw/10001door/book/a03.htm，2005年10月。
[28]世新大學非同步網路教學網站，“遠距教學施行規範”，瀏覽自http://elearn.shu.edu.tw/，2005年10月。
[29]李昇暾、詹智安，JAVA進階實務設計，儒林出版社，2002，第4-3 - 4-38頁。
[30]教育部，“專科以上學校遠距教學作業規範”，瀏覽自http://www.high.edu.tw/hiedu_asp/internet/d5/108_look_2_1_2.asp?LCLID=0000000002&LAWID=0000000196，2005年10月。
[31]陳拓榮，模糊邏輯應用於疲勞辨識系統，碩士論文，大葉大學車輛工程學系碩士班，彰化，2003。
[32]陳昭珍，數位學習與數位圖書館,書苑季刊，56期，第46-59頁。
[33]陳偉銘，“影像裡的數學世界”，中山學術文化基金會，第103-108頁。
[34]黃泰祥，具備人臉追蹤與辨識功能的一個智慧型數位監視系統，碩士論文，中原大學電子工程研究所，桃園，2000。
[35]譚永桓，以數位影像處理技術做人臉自動追蹤系統之研究，碩士論文，國立成功大學電機工程研究所，台南，1999。