臺灣博碩士論文加值系統

在計算機圖學的領域中有關如何合成、產生人臉表情,一直是個很有趣但也很困難及複雜的問題,其解決的方法也是千奇百怪。例如有人透過考慮表情與臉部肌肉及頭骨結構之間的密切關係,利用3D人臉模型來做變形。另一種常見的解決方法係採用MPEG4的SNHC(Synthetic Natural Hybrid Coding)來對人臉上的五官分別作詳細的定義與編碼。
在本論文中,我們提出了一個人臉表情互動式系統,使用者只需要將他的個人照(大頭照)輸入系統中,就能在短時間內產生出具有各種不同使用者表情的照片輸出;在此過程中使用者僅需以手動方式先標出五官的粗略位置,接著系統會透過「主動式輪廓法」(Active Contour)來準確地抓到眼睛、眉毛、嘴巴輪廓上的控制點座標,然後再進行變形,過程當中並會使用到「雙線性內插法」(Bilinear Interpolation)以產生出喜、怒、哀、樂等表情的動畫。
在本論文的最後,我們又搭配一個音樂分析處理系統,簡單地說就是分析在音樂當中的特徵,例如 曲調的高低、節奏的快慢等,以判斷出一首歌曲在不同段落的喜怒哀樂風格,並加入上述所合成出的個人化表情,使得我們能依照一首歌曲當中不同音樂風格的段落來同時展現出不同的人臉表情。

摘要••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••Ⅰ
第一章 緒論1
1.1 研究動機•••••••••••••••••••••••••••••••••••••••••••1
1.2 論文架構•••••••••••••••••••••••••••••••••••••••••••2
1.3 系統流程•••••••••••••••••••••••••••••••••••••••••••3
第二章 文獻探討••••••••••••••••••••••••••••••••••••••••••••••••••4
2.1 臉部表情合••••••••••••••••••••••••••••••••4
第三章 合成人臉表情••••••••••••••••••••••••••••••••••••••••••••••9
3.1 前言•••••••••••••••••••••••••••••••••••••••••••••••9
3.2 二值化•••••••••••••••••••••••••••••••••••••••••••9
3.3 主動式輪廓法••••••••••••••••••••••••••••••••••••••11
3.3.1 梯度••••••••••••••••••••••••••••••••••••••••••14
3.4 特徵點的擷取••••••••••••••••••••••••••••••••••••••15
3.5 產生表情••••••••••••••••••••••••••••••••••••••••••20
3.5.1 三角形化••••••••••••••••••••••••••••••••••••••20
3.5.2 雙線性內插法••••••••••••••••••••••••••••••••••24
3.5.3 JAFFE 資料庫••••••••••••••••••••••••••••••••••25
3.6 影像柔變••••••••••••••••••••••••••••••••••••••••••29
第四章 音樂分析•••••••••••••••••••••••••••••••••••••••••••••••••32
4.1 MIDI 音樂介紹•••••••••••••••••••••••••••••••••••••32
4.1.1 簡介••••••••••••••••••••••••••••••••••••••••••32
4.1.2 MIDI channel••••••••••••••••••••••••••••••••••32
4.1.3 MIDI message••••••••••••••••••••••••••••••••••33
4.1.4 MIDI 規格•••••••••••••••••••••••••••••••••••••35
4.1.5 MIDI 事件•••••••••••••••••••••••••••••••••••••36
4.2 音樂分析••••••••••••••••••••••••••••••••••••••••••37
4.2.1 實作••••••••••••••••••••••••••••••••••••••••••37
第五章 實驗結果•••••••••••••••••••••••••••••••••••••••••••••••••40
5.1 實驗環境••••••••••••••••••••••••••••••••••••••••••••40
5.2 實驗結果••••••••••••••••••••••••••••••••••••••••••••40
第六章 結論與未來展望•••••••••••••••••••••••••••••••••••••••••••45
參考文獻••••••••••••••••••••••••••••••••••••••••••••••••••••••••46

[1]台灣科技大學資訊管理系助理教授-楊傳凱，多媒體系統教材。
[2]江佩穎,李蔡彥,廖文宏-以臉部特徵為基礎之誇張肖像化產生系
統。
[3]http://www.personal.kent.edu/~rmuhamma/Compgeometry/
[4]Frederic Pighin,Jamie Hecker,Dani Lischinski,Synthesizing
Realistic Facial Expression from Photographs,SIGGRAPH’98
Proceedings,(1998),pp.75-84。
[5]A.Raouzaiou,N.Tsapatsoulis,K.Karpouzis and S.Kollias,
Parameterized facial expression synthesis based on
MPEG-4,EURASIP(2002),pp.1021-1038。
[6]Z.Liu,Y.Shan and Z.Zhang, Expressive Expression Mapping
with Ratio Images,SIGGRAPH (2001),pp.271-276。
[7]Michael Kass,Andrew Witkin,and Demetri Terzopoulos,
Snake: Active Contour Models, International of Computer
Vision,2,1988,pp.321-331。
[8]台灣大學生物產業機電工程系-李育澤、林達德,蔬菜種苗葉片之
型態分析與辨識投影片。
[9] http://www.irc.atr.jp/~mlyons/jaffe.html
[10]http://www.midi.org/about-midi/gm/gm1sound.shtml#instrument
[11] http://www.onicos.com/staff/iz/formats/midi.html
[12] http://www.chinaaspx.com/archive/file/10087.html
[13]鐘國亮編著,影像處理與電腦視覺(第二版),東華書局。
[14]Emery Schubert,Emotionface:Prototype Facial Expression
Display of Emotion in Music,proceeding if ICAD(2004)。
[15]Emery Schubert,Research in expressing continuous
emotional response to music as a function of its
psychoacoustic parameters: Current and future
direction,ICA(2004)。
[16]廖俊宇,基於肌肉與骨頭結構的人臉塑形與表情合成,清華大學
資工所(2002)。
[17]蘇芳生,人臉表情辨識系統,中正大學通訊工程所(2004)。
[18]Takaaki Akimoto,Yasuhito Suenaga,and Richard
S.Wallace ,Automatic Creation of 3D Facial Models, IEEE
Computer Graphics and Application(1993),pp.16-22。
[19]Thaddeus Beier and Shawn Neely, Feature-based Image
Metamorphosis,ACM SIGGRAPH(1992) Proceedings,pp.35-42。
[20]Paul Ekman and Wallace V.Friesen, Unmasking the Face:A
guide to recognizing emotions form facial clues, Prentice-Hall,Inc.,Englewood Cliffs,New Jersey,1975。
[21]Q.Zhang,Z.Liu,B.Guo,D.Terzopoulos,H.Shum,
Geometry-driven Photorealistic Facial Expression
Synthesis,IEEE Transactions on Visualization and Computer
Graphics(2006),pp.177-186。
[22]John Ghent,John McDonald, Photo-realistic facial
expression synthesisi,Image and Vision
Computing (2005) , pp.1041-1050。
[23]Amaryllis Raouzation,Nicolas Tsapatsoulis and Stefanos
Kollias,Parameterized Facial Expression Synthesis for
Videoconferencing Applcation,(2002)。
[24] http://iacl.ece.jhu.edu/projects/gvf/
[25] http://scv.bu.edu/GC/ickey/p3/p3.html
[26] T. Beier and S. Neely. Feature-based image metamorphosis. Computer Graphics, pp.35-42,1992。
[27] http://www.cs.huji.ac.il/~danix/