臺灣博碩士論文加值系統

在早期療育中，影片示範教學是一種常見的教學方法。有學者提出，如果能將影片中的主角換成兒童本人，將可以提升學習的效果，這樣的影片稱為自我示範教學影片。然而這對於早療機構老師來說，製作個別化的示範教學影片不是一件容易的事情。本研究提出一個方法，只需使用少量的學習者的照片，運用多種預訓練的通用機器學習模型，以及一些影像處理方法，便能將學習者頭部影像置換至教學影片中的主角，產出個別化的自我示範教學影片。這個方法能置換整個頭部，而非只置換臉部，使學習者頭部做出與示範影片主角臉部相同的表情以及動作，以幫助學習者更容易自我識別，達到自我示範的效果。未來我們希望能融合其他技術，持續為特殊教育領域提供服務，幫助身心發展遲緩的兒童。

In early intervention, video demonstration teaching is a common teaching method to help children. Some papers have proposed that if the protagonist in the teaching video can be the child himself, the learning effect will be further improved. Such videos are called self-modeling videos. However, it is difficult for early childhood special education teachers to create a self-modeling video. This study proposes a method that can replace the protagonist in the teaching video with the head of the learner by using a small number of learners' photos. The proposed method uses a variety of pre-trained general machine learning models and some image processing methods to create a self-modeling video. This method replaces the entire head, not just the face, so the learner can identify themselves more easily and achieve the effect of self-modeling video. In the future, we hope to integrate other technologies and continue to provide services to help children with delayed physical and mental development.

目次
摘要 I
Abstract II
致謝 III
目次 IV
圖目次 VI
第1章 序論 1
1.1研究背景 1
1.2研究動機與目的 2
1.3文獻探討 3
1.4本論文主要之貢獻 5
1.5章節概述 5
第2章 背景技術介紹 6
2.1 BiSeNet：Bilateral Segmentation Network for Real-time Semantic Segmentation 6
2.2 First Order Motion Model for Image Animation 7
2.3 GAN Prior Embedded Network for Blind Face Restoration in the Wild 9
2.4 FILM: Frame Interpolation for Large Motion 10
2.5 FFmpeg 12
2.5 PYQT 12
2.6 Inkscape 12
第3章 系統設計 13
3.1前置作業 14
3.2 FOMM 動作同步 17
3.3 GPEN 畫質修復 19
3.4 FILM 幀插法修補 20
3.5不可替換部分 21
3.6操作界面 22
第4章 置換結果與討論 24
4.1遮罩的成效比較 24
4.2 FOMM置換結果 25
4.3 GPEN 畫質修復結果 30
4.4 FILM 幀插法修補結果 33
第5章 結論與未來展望 36
參考文獻 37

圖目次
圖 1 1、UV 位置映射圖 [2] 3
圖 2 1、BiSeNet 模型架構圖 [3] 6
圖 2 2、在不同數據集上的轉換結果 [4] 7
圖 2 3、FOMM 架構流程圖 [4] 9
圖 2 4、GPEN 架構示意圖 [5] 9
圖 2 5、FILM 架構示意圖 [6] 11
圖 3 1、影片頭部置換流程 13
圖 3 2、影片切割示意圖 14
圖 3 3、頭部偵測範圍示意圖 15
圖 3 4、擷取的頭部影像 15
圖 3 5、擷取的頭部影像位置 15
圖 3 6、頭部遮罩 16
圖 3 7、去除人物的背景圖 16
圖 3 8、FOMM 動作同步效果A 17
圖 3 9、FOMM 動作同步效果B 18
圖 3 10、FOMM人物頭部被遮擋導致變換效果不佳 18
圖 3 11、GPEN 畫質修復效果 19
圖 3 12、GPEN 畫質修復效果 19
圖 3 13、FILM補齊臉部角度畫面 20
圖 3 14、FILM修補破損畫面 20
圖 3 15、不可替換的部分原始影片畫面 21
圖 3 16、人工修補的畫面 21
圖 3 17、FOMM 操作界面 22
圖 3 18、FOMM 開啟圖像目錄範例 23
圖 4 1、遮罩的成效比較 24
圖 4 2、FOMM轉換結果 25
圖 4 3、FOMM轉換結果兒童A 26
圖 4 4、FOMM轉換結果兒童B 26
圖 4 5、FOMM轉換結果兒童C 26
圖 4 6、成人臉套用至幼兒臉型影片的置換結果 26
圖 4 7、成人臉套用至成人臉型影片的置換結果 27
圖 4 8、幼兒人臉套用至成人臉型影片的置換結果 27
圖 4 9、正臉圖像的置換結果 28
圖 4 10、側臉圖像的置換結果 28
圖 4 11、合成圖 4-9 與 4-10 的最終結果 29
圖 4 12、GPEN 畫質修復的結果 30
圖 4 13、尚未修復直接置換的影片畫面A 31
圖 4 14、尚未修復直接置換的影片畫面B 31
圖 4 15、使用 GPEN 修復過後的影片畫面A 32
圖 4 16、使用 GPEN 修復過後的影片畫面B 32
圖 4 17、FILM 幀插法的修復結果 33
圖 4 18、FILM 修補後的影片畫面 34
圖 4 19、FILM補足各個角度畫面 34
圖 4 20、無法使用 FILM 修補的案例：戴眼鏡的臉部圖像 34
圖 4 21、無法使用 FILM 修補的案例：側臉超過90度的畫面 35
圖 4 22、無法使用 FILM 修補的案例：角度差異過大的畫面 35

[1]T. Buggey, “Video self-modeling applications with students with autism spectrum disorder in a small private school setting,” Focus on Autism and Other Developmental Disabilities, vol. 20, pp. 52-63, February 2005.

[2]Y. Feng, F. Wu, X. Shao, Y. Wang, X. Zhou. “Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network,” European Conference on Computer Vision (ECCV), 2018, pp. 534-551.

[3]C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, N. Sang. “BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation,” Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 325-341.

[4]A. Siarohin, S. Lathuilière, S. Tulyakov, E. Ricci, N. Sebe. “First Order Motion Model for Image Animation,” 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada, 2018.

[5]T. Yang, P. Ren, X. Xie, L. Zhang. “GAN Prior Embedded Network for Blind Face Restoration in the Wild,” Computer Vision and Pattern Recognition (CVPR), 2021, pp. 672-681.

[6]F. Reda, J. Kontkanen, E. Tabellion, D. Sun, C. Pantofaru, B. Curless. “FILM: Frame Interpolation for Large Motion,” European Conference on Computer Vision (ECCV), 2022.