臺灣博碩士論文加值系統

現今幾年來，研究人員、學者與業界在於人臉影像的研究上，多著重於偵測和追蹤，對於特徵的擷取亦多應用於電腦辨識，人臉特徵註冊和變形多為娛樂性產品的附加功能。

本論文主要是結合了人臉影像特徵擷取、影像註冊和仿射變形等技術，開發出一個多功能地人臉特徵擷取、影像註冊與變形系統，該系統在現實生活當中許多層面上都蘊含著相當大的發展和應用性。像是可以運用於2D或3D的人像模擬、合成，可以3D模擬人臉術前術後的模樣，又讓夫妻預測下一代的模樣，亦或可以用於史料分析，透過模擬、組合人臉特徵盡可能還原出古人的外型。亦可搭配擴增實境，透過特製裝置投射在使用者身上，讓使用者得到更直接的感受。而近年來全球盛行的美妝與保養風潮、美容、整形等等領域，皆可運用人臉特徵註冊和變形達到更精準地分析、預測和模擬效果。本系統除了常見的全域人臉特徵變換，還開發了13種針對人臉細部特徵的功能，如何讓各項功能在不同人種、膚色等狀態下執行在功能開發上具備相當高的挑戰性。

本研究利用開源機械學習資料庫訓練出來的兩組人臉特徵模組，並搭配自行開發的演算法來進行人臉影像特徵擷取，在配合特徵點進行影像註冊與變形，最後使用無縫融合技術讓擷取特徵能與目標影像完美結合，以此來讓人臉影像的五官、上下眼皮、額頭、眉毛等等特徵可以進行變換或變形。

For the past few years, scientists and companies focus on the research of facial image for detection and trace. Facial image segmentation regularly used for face recognition. Image registration and image transforms usually used on some applications for entertainment.

This study presents a multifunctional system of facial landmark detection, registration, swapping and face morphing. This system which combines the techniques of Human facial image segmentation, Image registration and Affine transformation is full of development and applicability. For example, based on the facial synthesis and simulation system, patients can compare their 2D or 3D portrait before and after the surgery, parents can predict how their child looks like. Furthermore, we can even recover the face of ancient human for historical research. Moreover, patients will directly see and feel the effect of surgery by collaborating the technology of facial image and AR(Augmented Reality) device. In recent years, skin care, face lifting and plastic surgery are prevalent around the world. Our facial landmark detection, registration, swapping and face morphing system can accurately predicts and analyses the effect of medical cosmetology surgery. Despite the common face exchange, we also develop 13 different functions for partial human face. It is a gauntlet to make all the functions work on different skin color or feature.

In this work, we trained two facial landmark modules on open source library and used our algorithm to do image segmentation. Then registered and transformed images by facial landmarks. Finally, we merged source and target image by the technique of image seamless clone.

教授推薦書 i
論文口試委員審定書 ii
中文摘要 iii
Abstract iv
發表文獻 v
致謝 vi
目錄 vii
List of Tables xiii
圖目錄 xv

1 緒 論 . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . 1

1.1 研究動機 . . . . . . . .

. . . . . . . . . . . . . . . . . 2

1.2 研究目標 . . . . . . . .

. . . . . . . . . . . . . . . . . 5

1.3 論文貢獻 6
1.4 論文架構 6
2 研究背景 7
2.1 人臉特徵模紐訓練原理 7
2.2 影像註冊與仿射變換原理 8
2.3 影像無缝貼合原理 9
3 研究方法 11
3.1 全域人臉交換(使用68Landmark) 15


3.1.1 現有方法結果(Result of Bechmark Method) 15
3.1.2 改進方法 15
3.2 眼睛交換(使用68Landmark) 18
3.2.1 方法一 18
3.2.2 方法二 18
3.3 鼻子交換(使用68Landmark) 24
3.3.1 方法一 24
3.3.2 方法二 24
3.4 嘴部交換(使用68Landmark) 33
3.4.1 方法一 33
3.4.2 方法二 33
3.5 上下眼皮交換(使用68Landmark) 39
3.5.1 方法一 39
3.5.2 方法二 40
3.5.3 方法三 48
3.6 魚尾紋交換(使用68Landmark) 52
3.6.1 方法一 52
3.7 皮膚交換(不含額頭)(使用68Landmark和119Landmark) 56
3.7.1 方法一 57
3.7.2 方法二 57
3.8 眼睛水平移動(使用68Landmark) 61
3.8.1 方法一 61

3.8.2 方法二 62
3.9 眼睛垂滇移動(使用68Landmark) 73
3.9.1 方法一 73
3.9.2 方法二 76
3.9.3 方法三 82
3.10 特徵大小調整(使用68Landmark) 90
3.10.1 眼睛大小調整(使用68Landmark)方法 90
3.10.2 鼻子寬度調整(使用68Landmark)方法 93
3.10.3 鼻子長度調整(使用68Landmark)方法 103
3.10.4 嘴部寬度調整(使用68Landmark)方法 108
3.10.5 嘴部厚度調整(使用68Landmark)方法 111
3.11 額頭交換(使用119Landmark) 118
3.11.1 方 法一 118
3.11.2 方 法二 118
3.12 眉毛交換(使用119Landmark) 124
3.12.1 方 法一 124
3.12.2 方 法二 124
3.12.3 方 法三 130
3.12.4 方 法四 137
3.13 眉毛水平移動(使用119Landmark) 147
3.13.1 方 法一 147
3.13.2 方 法二 148

3.13.3 方 法三 155
3.13.4 方 法四 162
3.14 眉毛垂滇移動(使用119Landmark) 176
3.14.1 方 法一 176
3.14.2 方 法二 177
3.14.3 方 法三 178
3.14.4 方 法四 179
3.14.5 方 法五 181
3.15 眉毛特徵調整(使用119Landmark) 194
3.15.1 眉毛寬窄調整(使用119Landmark)方法 194
3.15.2 眉毛租紐調整(使用119Landmark)方法 204
4 實臉設計與結果分析 209
4.1 圖像處理函式庫：Dlib 和 OpenCV 209
4.2 68和119個Landmark的人臉特徵模紐 209
4.2.1 人臉特徵模紐訓練演算法 209
4.2.2 兩紐特徵模紐差異比較 210
4.3 完美比例介紹 211
4.3.1 完美比例標半一 212
4.3.2 完美比例標半二 217
4.4 實臉影像介紹 219
4.5 功能1：全域人臉交換(使用68Landmark)實臉 221
4.6 功能2：眼睛交換(使用68Landmark)實臉 221

4.7 功能3：鼻子交換(使用68Landmark)實臉 222
4.8 功能4：嘴部交換(使用68Landmark)實臉 222
4.9 功能5：上眼皮交換(使用68Landmark)實臉 223
4.10 功能6：下眼皮交換(使用68Landmark)實臉 223
4.11 功能7：魚尾紋交換(使用68Landmark)實臉 224
4.12 功能8：皮膚交換(使用68Landmark)實臉 224
4.13 功能9：眼睛移動(使用68Landmark)實臉 225
4.13.1 眼睛水平移動 225
4.13.2 眼睛垂滇移動 230
4.14 功能10：特徵大小調整(使用68Landmark)實臉 236
4.14.1 眼睛大小調整 236

4.14.2 鼻子寬度調整 . .

. . . . . . . . . . . . . . . . . 246

4.14.3 鼻子長度調整 . .

. . . . . . . . . . . . . . . . . 251

4.14.4 嘴部厚度調整 256
4.14.5 嘴部寬度調整 261
4.15 功能11：額頭交換(使用119Landmark)實臉 262
4.16 功能12：眉毛交換(使用119Landmark)實臉 262
4.17 功能13：眉毛移動(使用119Landmark)實臉 263
4.17.1 眉毛水平移動 263
4.17.2 眉毛垂滇移動 264
4.18 功能14：眉毛特徵調整(使用119Landmark)實臉 277
4.18.1 眉毛寬窄調整 277


4.18.2 眉毛租紐調整 278
5 結論與未來展望 279
5.1 結論 279
5.2 未來展望 280
參考文獻 281

[1] http://www.chimayclinic.com.tw/cosmeticsurgeryv iew.asp?id=167&sid=308.

[2] https://news.gamme.com.tw/1419384.

[3] Davis E. King Dlib-ml: A Machine Learning Toolkit Journal of Machine Learn- ing Research http://dlib.net/ vol.10:1755-1758, (2009).
[4] Bradski, G. Dr. Dobb’s Journal of Software Tools (2000).

[5] Vahid Kazemi and Josephine Sullivan One Millisecond Face Alignment with an Ensemble of Regression Trees IEEE Conf. Computer Vision and Pattern Recognition,pp.1867-1874(2014).
[6] Xing Wang Swap out a face in one image with a completely different face using OpenCV and DLib. 基 於opencv和Dlib的 人 臉 交 換(face swap) http://blog.csdn.net/wangxing233/article/details/51771265 (2016).

[7] Satya Mallick Face Swap using OpenCV ( C++ / Python )
http://www.learnopencv.com/face-swap-using-opencv-c-python/ (2016).

[8] Patrick Prez, Michel Gangnet, and Andrew Blake. Poisson image editing. In ACM Transactions on Graphics (TOG) vol.22:313–318, ACM, (2003).
[9] H. Lin, P. Du, W. Zhao, L. Zhang, and H. Sun, Image Registration Based on Corner Detection And Affine Transformation. in International Congress on Image and Signal Processing (CISP2010) (Normal University of China, China), pp. 2184-2188, (2010).

[6] Xing Wang Swap out a face in one image with a completely dierent
face using OpenCV and DLib. opencv.Dlib.盡幻(face swap)
http://blog.csdn.net/wangxing233/article/details/51771265 (2016).
[7] Satya Mallick Face Swap using OpenCV ( C++ / Python )
http://www.learnopencv.com/face-swap-using-opencv-c-python/ (2016).
[8] Patrick Prez, Michel Gangnet, and Andrew Blake. Poisson image editing. In
ACM Transactions on Graphics (TOG) vol.22:313318, ACM, (2003).
[9] H. Lin, P. Du, W. Zhao, L. Zhang, and H. Sun, Image Registration Based
on Corner Detection And Ane Transformation. in International Congress on
Image and Signal Processing (CISP2010) (Normal University of China, China),
pp. 2184-2188, (2010).