臺灣博碩士論文加值系統

　　近年來數位學習的發展已成為未來教學模式的趨勢，數位學習在科技蓬勃的發展下，包括錄製設備、硬體容量的提升與網路的傳播，讓教學影片有高解析畫面做紀錄並快速傳播學習的內容。因為教學影片完整記錄整個教學現場，除了供給學生作為學習外，更可以觀察課程中導師與學員反應，作為導師間互相交流心得與學習教材。但教學影片內容除了依賴導師事前課程規劃外，經過編輯擷取摘要的教學影片有更好的學習效果。
　　本論文為了達成更完整記錄課堂的目的與研究資料的收集，嘗試使用各種攝影設備與觀察分析課堂環境，挑選出符合課堂環境的設備與最佳錄製方法，並建構出一套可以自由切換視角與不同畫面類型的播放系統並互相討論交流觀課心得的網路頁面平台。本論文亦發展影片自動摘要的方法，讓觀看者進入完整課程前能先觀看摘要影片，了解課程導師的上課情境與風格，方便找出觀看者覺得可能有興趣的教學影片。
　　自動影片摘要的研究先收集 94 筆課程紀錄影片資料集，各個類型課程都是以連續且沒有編輯過的完整課堂紀錄影片為主。研究分為三階段，第一個階段針對課程影片做影像校正，校正影像帶入由ETH Zurich, M. Gygli 團隊 [1] 提出一種片段化的以供影片摘要的方法，第二個階段從這些片段中分析可能有興趣或重要的片段特徵，透過觀察各個課程類型提出三種特徵：光暗亮度、聲音音量與畫面動態運動幅度，第三階段經過片段分析後綜合三項特徵做出評分推薦適合的片段，綜合推薦片段得出影片摘要。
　　得出影片摘要後，除了客觀分析影片摘要是否合適，還製作了一份主觀性問卷，問卷主要目的是讓測試者挑選哪一種影片摘要的方式得到有興趣或是重要的片段內容，並測試適合的摘要影片長度，最後從問卷回饋中得出影片摘要結果評估與改善的方向。

Recently, E-learning has become a trend of future teaching. Because the science and technology flourished in recording equipment, hardware and communication network capacity, the lecture videos have higher recording resolution and the content can be spread more quickly. Through a more complete recording of the whole teaching site, it can be used for collaborative lesson preparation to observe the interaction between the instructors and the students. A good lecture video not only rely on the instructor's prior course planning, but a proper edited video summarization can also improve the efficiency of learning.
In order to achieve a more complete record of the classroom and for the collection of research materials, this thesis have used a variety of photographic equipment and analyzed the classroom environments to choose the best recording method suitable for the classroom environment. After the recording, we have developed a web platform that can playback freely among lecture videos of the same classroom in different viewing angles and recording types, and provide a function for discussion and exchange ideas of lesson preparation. In this thesis, we also developed automatic video summarization algorithms to let viewers watch the summary movie before entering the full course. The summary videos help the viewers to understand the style of the course instructors, and to choose lecture videos that they may be interested in.
For the study of automatic video summarization, the data set was collected comprised of a total of 94 class record videos, including each type of class recorded continuously and unedited as a complete classroom lecture video. Our research is divided into three phases. In the first phrase, the image correction is performed for the lecture video, and the corrected image is brought into a fragmentation method for the video summarization proposed by the ETH Zurich, M. Gygli [1] team. In the second phrase, we analyzes the features of the fragments that may be of interest or importance from these segments, and proposes three characteristics by observing each course type: brightness, sound volume and dynamic motion range of the video. In the third phrase, after the segment analysis, the three features are combined to make a score suitable for the recommended segment, and the recommended segment is combined to obtain a video summarization.
After obtaining the summary video, in addition to the analysis of the content of the video, we produced a subjective questionnaire. The main purpose of the questionnaire is to allow the subject to choose which of the summarized videos has picked the interesting or important fragments and which length of summarized video is proper. Finally, the evaluation and future improvement of the video summarization are obtained from the questionnaire feedback.

目次
致謝辭.................................................. i
摘要................................................... ii
Abstract............................................... iv
目次................................................... vi
表目次.................................................. viii
圖目次.................................................. ix
第一章 導論............................................ 1
1.1. 研究動機與目的.................................. 1
1.2. 文獻探討........................................ 4
第二章 資料收集........................................ 6
2.1. 事前教室環境測試................................ 6
2.2. 錄製設備的挑選.................................. 9
2.3. 全景相機設備介紹................................ 9
2.4. 廣角相機介紹.................................... 12
2.5. 錄製設備教室配置................................ 13
2.6. 資料數據集...................................... 15
第三章 影像前處理與分段方法............................. 17
3.1. 課程影片前處理.................................. 18
3.1.1. 課程影片資訊.................................... 18
3.1.2. 影像魚眼校正.................................... 19
3.1.3. 縮減測試集影像的量............................... 20
3.1.4. 人臉辨識與人型偵測實驗........................... 21
3.2. 影片分段方法.................................... 21
3.2.1. 分段方法理論與介紹............................... 21
3.2.2. 分段方法步驟.................................... 22
3.2.3. 實際課程影片帶入分段結果......................... 23
3.3. 影片摘要依據分析................................ 24
3.3.1. 環境亮度測試................................... 24
3.3.2. 聲音音量測試.................................... 26
3.3.3. 運動幅度測試.................................... 29
3.4. 綜合評分與片段挑選............................... 31
3.4.1. 特徵綜合評分.................................... 31
3.4.2. 主觀性問卷調查.................................. 32
第四章 影片摘要實驗結果................................. 35
4.1. 人臉辨識及人型偵測實驗結果....................... 35
4.2. 環境亮度實驗結果................................ 38
4.3. 聲音音量實驗結果................................ 40
4.4. 運動幅度實驗結果................................ 44
4.5. 完整課程影片實驗結果............................. 47
第五章 多視角教室錄影系統介紹............................ 53
5.1. 多視角教室錄影系統介紹........................... 53
5.2. 播放器介紹...................................... 54
5.3. 系統架站工具.................................... 55
5.4. 系統功能介紹.................................... 55
5.4.1. 上傳影片頁面介紹................................ 55
5.4.2. 觀看課程頁面.................................... 58
第六章 結論與未來展望................................... 62
6.1. 影片摘要研究結論................................ 62
6.2. 多視角教室錄影系統結論........................... 62
6.3. 未來展望........................................ 63
參考文獻............................................... 64
表目次
表 2-1：各廠牌全景相機資訊............................... 10
表 2-2：自製廣角相機 OBS 設定輸出設定值................... 13
表 2-3：廣角影片輸出後容量資訊 (GB/1小時(hour))........... 16
表 2-4：全景影片輸出後容量資訊 (GB/1小時(hour))........... 16
表 3-1：測試影片檔案格式資訊............................. 18
表 3-2：參考聲音分貝級數與聲壓值.......................... 28
表 4-1：亮度測試實驗課程影片資訊.......................... 38
表 4-2：聲音測試實驗課程影片資訊.......................... 41
表 4-3：運動幅度測試實驗課程影片資訊...................... 44
表 4-4：一小時課程影片實驗特色內容與老師資訊............... 47
表 4-5：完整課程影片摘要問卷選擇.......................... 52
表 4-6：完整課程影片摘要問卷意見回饋...................... 52
圖目次
圖 1-1：左圖為國外 Khan Academy 課程影片，右圖為國內台大線上課程影片... 1
圖 1-2：夢的 N 次方研習活動、課堂學習與上課環境............ 2
圖 1-3：多視角畫面讓觀看者有更多的課堂的觀察點了解課堂狀況。... 3
圖 2-1：一般教室格局平面圖............................... 6
圖 2-2：方形教室格局平面圖............................... 7
圖 2-3：全景相機與廣角相機測試拍攝距離示意圖............... 8
圖 2-4：Azure 人臉偵測結果.............................. 8
圖 2-5：Ladybug3 360 外觀、優缺點與後續挑選目標........... 10
圖 2-6：Ricoh Theta s 外觀、優缺點與後續挑選目標.......... 10
圖 2-7：Gear 360 (2017) 外觀、優缺點與後續挑選目標........ 11
圖 2-8：Nikon Keymission 360 外觀、優缺點與後續挑選目標... 11
圖 2-9：Garmin VIRB 360外觀、優缺點與後續挑選目標......... 11
圖 2-10：Webcam 自製廣角鏡頭相機；左圖為魚眼鏡頭，右圖為廣角鏡頭... 12
圖 2-11：Sony DSC-RXO 廣角相機.......................... 12
圖 2-12：一般教室的攝影機佈局............................ 14
圖 2-13：方型教室的攝影機佈局............................ 14
圖 2-14：實際擺放照片，左：壁掛拍攝、中；腳架拍攝、右：吊掛在天花板拍攝... 14
圖 2-15：同樣科目因不同老師的教學特色而有不同情境.......... 15
圖 2-16：左圖：課程小組討論，右圖：導師講座授課............ 15
圖 3-1：研究方法流程圖................................... 17
圖 3-2：左圖為魚眼鏡頭畫面，右圖為廣角鏡頭畫面............. 19
圖 3-3：全景影像為多個畫面拼貼後的輸出畫面................ 19
圖 3-4：影像校正用 20張棋盤格圖.......................... 20
圖 3-5：左圖為原始影像，右圖為校正後影像.................. 20
圖 3-6：橫軸為 Frame 編號，縱軸為運動幅度的平均位移點，黑色曲線為影片運動的幅度變化，藉此可觀察整個影片畫面變化與物體位移................... 22
圖 3-7：根據文獻方法可以評估事件發生長度去調整平均切割點，時間切割點在文獻中有使用資料集分析去得出分段建議值，藍色線條為平均切割點........... 23
圖 3-8：經由 SuperFrame 執行完後從原先的藍色線條切割點出發尋找運動幅度最少的區域作為新的片段邊界，如紅色線條為新的切割點位置。............... 23
圖 3-9：十分鐘課程影片做片段化後結果示意圖................ 24
圖 3-10：一小時課程影片做片段化後結果示意圖............... 24
圖 3-11：上課過程中途關燈前後實際畫面..................... 25
圖 3-12：亮度變化實驗流程................................ 26
圖 3-13：小組討論與上台報告實際畫面....................... 27
圖 3-14：此聲音樣本為立體聲上圖為左聲道，下圖為右聲道...... 28
圖 3-15：聲音變化實驗流程................................ 29
圖 3-16：課程活動小遊戲實際畫面.......................... 30
圖 3-17：運動幅度變化實驗流程............................ 30
圖 3-18：使用名次值做綜合評分與片段的挑選................. 31
圖 3-19：使用正規化值做綜合評分與片段的挑選............... 32
圖 3-20：問卷流程圖..................................... 32
圖 3-21：提出問卷目的性與背景性.......................... 33
圖 3-22：課程特色內容與課程影片的提供..................... 33
圖 3-23：課程時間表與內容大綱，問卷的選擇與意見回饋........ 33
圖 4-1：CART的人臉辨識偵測反應於教室背景物件上............ 35
圖 4-2：CART的人臉辨識偵測反應於老師身上的配件與肢體上..... 36
圖 4-3：CART的人臉辨識有成功辨識人臉的結果畫面............ 36
圖 4-4：HOG人型偵測有成功偵測並標記人身上的結果畫面........ 37
圖 4-5：HOG人型偵測反應於教室背景中的物件上............... 37
圖 4-6：亮度測試實驗課程影片畫面......................... 38
圖 4-7：十分鐘 32 片段亮度值計算結果...................... 39
圖 4-8：第 1、4、7、9 片段截圖........................... 39
圖 4-9：第 10、13、15、17片段截圖........................ 39
圖 4-10：第 18、23、27、32片段截圖....................... 40
圖 4-11：聲音測試實驗課程影片畫面......................... 41
圖 4-12：十分鐘 31 片段聲量值計算結果..................... 41
圖 4-13：全部片段轉為分貝值結果值......................... 42
圖 4-14：第 1、4、7、10 片段截圖......................... 42
圖 4-15：第 11、12、13、14 片段截圖...................... 43
圖 4-16：第 15、22、25、30 片段截圖...................... 43
圖 4-17：運動服度測試實驗課程影片畫面..................... 45
圖 4-18：片段化後得到整個影片的運動幅度與片段邊界點........ 45
圖 4-19：十分鐘 32 片段運動幅度值計算結果................. 45
圖 4-20：第 1、6、10、15片段截圖......................... 46
圖 4-21：第 17、20、27、32片段截圖....................... 46
圖 4-22：完整課程畫面截圖................................ 48
圖 4-23：問卷內容，問卷標題、問卷目的..................... 49
圖 4-24：問卷內容，問卷背景性............................ 50
圖 4-25：問卷內容，課程簡介、影片檔案、填寫處.............. 51
圖 5-1：系統架構流程圖................................... 53
圖 5-2：XOOPS 系統圖示.................................. 55
圖 5-3：輸入課程名稱、說明、日期，影片畫面類型等影片資訊... 56
圖 5-4：根據影片角度位置分別設定影片資訊，中鏡頭、後鏡頭... 56
圖 5-5：根據影片角度位置分別設定影片資訊，左鏡頭、右鏡頭... 57
圖 5-6：上傳完成自動回到課程列表.......................... 57
圖 5-7：觀看課程影片網頁介面............................. 58
圖 5-8：時間表文字方塊................................... 59
圖 5-9：預覽視窗畫面.................................... 59
圖 5-10：影片操作按鈕介面................................ 60
圖 5-11：輸入課程心得與課程大綱欄位介面................... 60
圖 5-12：觀看其他使用者的心得或上傳者大綱內容介面.......... 61

[1]M. Gygli, H. Grabner, H. Riemenschneider, and L. Van Gool, “Creating Summaries from User Videos,” In European conference on computer vision, pages 505–520. Springer, 2014.
[2]Khan Academy , https://www.khanacademy.org/
[3]edX massive open online course (MOOC) provider , https://www.edx.org/
[4]臺大開放式課程網頁 , http://ocw.aca.ntu.edu.tw/ntu-ocw/
[5]P. J. Guo, J. Kim, R. Rubin, “How Video Production Affects Student Engagement: An Empirical Study of MOOC Videos,” ACM Conference on Learning at Scale, 2014.
[6]夢的N次方 , http://dream.k12cc.tw/
[7]Khosla, A., Hamid, R., Lin, C.J., Sundaresan, N, “ Large-scale video summarization using web-image priors,” In: CVPR. (2013)
[8]Shagan Sah, Sourabh Kulhare, Allison Gray, Subhashini Venugopalan, Emily Prud’Hommeaux, and Raymond Ptucha “Semantic text summarization of long videos,” In Applications of Computer Vision (WACV), 2017 IEEE Winter Conference on, pages 989–997. IEEE, 2017.
[9]臉部辨識API-Microsoft Azure , https://azure.microsoft.com/zh-tw/services/cognitive-services/face/
[10]Ryubin’s Flash Panorama , http://www.ryubin.com/panolab/panoflash/
[11]Scaramuzza, D., Martinelli, A. & Siegwart, R, “A Toolbox for Easy Calibrating Omnidirectional Cameras,” Proceedings of IEEE International Conference on Intelligent Robots and Systems, pp. 5695–5701, China, October 2006, Beijing, (2006).
[12]R. L. Lawrence, A. Wright, “Rule-based Classification Systems using Classification and Regression Tree (CART) Analysis,” Photogrammetric Engineering & Remote Sensing 67:1137–1142, 2001.
[13]N. Dalal, B. Triggs, “Histograms of Oriented Gradients for Human Detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 886–893, 2005.
[14]M. Bergh, X. Boix, G. Roig, B. Capitani, and L. V Gool, “Seeds: Superpixels Extracted via Energy-Driven Sampling,” Proc. of ECCV, 7578:pp.13–26, 2012.
[15]E. Rosten, and T. Drummond. "Fusing Points and Lines for High Performance Tracking," Proceedings of the IEEE International Conference on Computer Vision, Vol. 2 (October 2005): pp. 1508–1511.
[16]Krpano official website , https://krpano.com/
[17]XOOPS official website , http://www.xoops.org.tw/