臺灣博碩士論文加值系統

本篇論文提出整合重建性與鑑別性之人臉驗證系統，系統輸入一對灰階人臉影像；輸出這對人臉影像為相同人或不同人。在真實情況下，通常監視系統所拍攝到的人臉影像會是低解析或遮蔽等，各種問題的人臉影像，而在辨識資料庫的人臉影像大多為高解析且非遮蔽的人臉影像，所以我們很難直接比對兩種不同屬性的人臉影像。
為了解決這個問題，本篇論文提出整合重建性與鑑別性的人臉特徵，能夠有效的辨識兩種不同屬性的人臉影像。實作上，我們將兩種不同情境（如：遮蔽與非遮蔽、低解析與高解析）下之相同人的配對人臉影像與不同人的配對人臉影像分別訓練兩個PCA（Principal Components Analysis）子空間；其中，相同人臉配對建立的子空間用建立在不同情境下的樣貌關聯性，不同人配對所建立的子空間為人與情境等多種樣貌變異之關聯性。於兩種不同屬性的PCA子空間之特徵軸中，以Adaboost的架構挑選相對有鑑別相同人或不同人的能力的特徵軸。
除此之外，我們也利用PCA的重建特性來解決遮蔽情境或是解析度不足狀況下的人臉驗證問題。實際的作法是，我們採用Adaboot挑選到的特徵軸所重組的子空間，以及原來兩種不同屬性的PCA子空間來重建更多樣性樣貌的成對人臉影像，當成人臉驗證的SVM分類器所使用的特徵。
我們提出的演算法架構驗證於低解析、圍巾遮蔽或是戴太陽眼鏡的情境之下。特別是於遮蔽情境下，人臉具有嚴重的樣貌破壞，本文所提出的方法於這樣的情境下具有顯著的驗證率提升。

Face verification has been widely studied due to its importance in surveillance and forensics applications. In practice, gallery images in the database are high-quality while probe images are usually low-resolution or with heavy occlusion. This study, we proposed a regression-based approach for face verification in the low-quality scenario. We adopt principal component analysis (PCA) approach to construct the correlation between pairwise samples, where each sample contains heterogeneous pairwise facial image captured in terms of different modalities or features (e.g., low-resolution vs. high-resolution, or occluded facial image vs. non-occluded one). Three common feature spaces are reconstructed by cross-domain pairwise samples, with the goal of eliminating appearance variations and maximizing discrimination between different subjects. Such derived subspaces are then used to represent the subjects of interest, and achieve satisfactory verification performance. Experiments on a variety of synthesis-based verification tasks under low-resolution and occlusion cases would verify the effectiveness of our proposed learning framework.

目錄
第一章 緒論 1
1.1 研究目的與動機 1
1.2 相關研究 3
第二章 以成對的資料訊練混合主成份分析之子空間 7
2.1 成對的正樣本與負樣本 7
2.2 建立混合的主成份分析之子空間 9
2.3 鑑別性、重建性和合成能力分析 10
第三章 選擇應用於人臉驗證的特徵 18
3.1 鑑別性的特徵分析 18
3.2 分類方法 21
3.3 選擇具有鑑別性、重建性及合成的特徵 23
第四章 成對樣本的人臉驗證系統流程 38
4.1 分析選擇特徵 38
4.2 特徵表示法 40
4.3 成對樣本的人臉驗證結果 44
第五章 實驗結果與分析 46
5.1 人臉辨識的實驗設定 46
5.2 人臉辨識的實驗結果 47
5.3 訓練與測試時間 48
第六章 結論 51
參考文獻 52
附錄:英文論文 56

圖目錄
圖 一 辨識資料庫中的人臉影像與監視系統拍攝的人臉影像。 1
圖 二 遮蔽人臉影像與非遮蔽人臉影像在人臉影像子空間之分布。 2
圖 三 低解析度和高解析度與兩種遮蔽和非遮蔽情況的正樣本與負樣本範例。 8
圖 四 左邊為SAME PCA之子空間；右邊為DIFFERENT PCA之子空間。紅色為正樣本；藍色為負樣本。由上至下分別為正樣本與負樣本在三種情況下不同子屬性子空間之分佈。 12
圖 五 三種情境下，正樣本與負樣本以 和 重建樣本之人臉影像。 14
圖 六 三種情境下， 和 中最大特徵值對應之前三軸視覺化影像。 16
圖 七 三種情境下，使用SAME DCM和DIFFERENT DCM的合成人臉影像。 17
圖 八 在三種情境下，正樣本與負樣本分別使用七種不同特徵表達的特徵分佈圖。 20
圖 九 在三種情境下，使用九種不同特徵的正確率。 22
圖 十 在三種情境下，訓練正樣本與負樣本以 和 重建人臉影像。 24
圖 十一 在三種情境下，訓練正樣本與負樣本使用公式(13)的特徵分佈。 26
圖 十二 在三種情境下，訓練正樣本與負樣本使用公式(13)和公式(25)特徵的樣本正確率。 32
圖 十三 在三種情境下，使用不同DCM轉換式合成的人臉影像。 33
圖 十四 在三種情境下，使用 、 和 重建正負樣本的結果。 34
圖 十五 在三種情境下，左圖：使用不同個數分類器之錯誤率；右圖：以10個分類器為一個直方條，統計挑選到幾個 和 。 35
圖 十六 在三種情境下，分別使用ADABOOST分類器與使用挑選的軸之投影量訓練的SVM分類器之分類結果。 37
圖 十七 在三種情境下，測試正樣本（左）與負樣本（右）的特徵值分布狀況。紅、綠、藍和黃色為測試樣本之特徵值；直方圖為訓練樣本的分布情況。 39
圖 十八 在三種情境下。16-CODING特徵訓練SVM的超平面（取絕對值）。 42
圖 十九 在三種情境下，一個正樣本（左邊）與一個負樣本（右邊）之四個門檻值與四個特徵值視覺化。 43
圖 二十 在三種情境下，使用不同KERNEL SCALE參數之SVM分類結果。 45
圖 二十一 在三種情境下，RANK 1至RANK 10的人臉辨識率。藍色為以成對樣本的人臉驗證系統為基礎之人臉辨識方法；黃色為使用餘弦相似度的方法。 48
 
表目錄
表 一 特徵選取之演算法。 28
表 二 在三種情境下，挑選100個軸之時間。 49
表 三 在三種情境下，訓練三種DCM之轉換式之時間。 49
表 四 在三種情境下，使用三種DCM合成TARGET DOMAIN人臉影像之時間。 50
表 五 在三種情境下，以挑選到的投影像量訓練SVM分類器與預測一個測試樣本之時間。 50
表 六 在三種情境下，一個測試樣本計算三個動態門檻值之時間總合。 50

[1]J. Choi, W.R. Schwartz, H. Guo, and L.S. Davis, “A Complementary Local Feature Descriptor for Face Identification,” IEEE Applications of Computer Vision (WACV), pp. 121-128, 2012.
[2]L.A. Cament, L.E. Castillo, J.P. Perez, F.J. Galdames, and C.A. Perez, “Fusion of Local Normalization and Gabor Entropy Weighted Features for Face Identification,” Pattern Recognition, pp. 568–577, 2014.
[3]O. Déniz, G. Bueno, J. Salido, and F. De la Torre, “Face Recognition Using Histograms of Oriented Gradients,” Journal Pattern Recognition Letters, pp. 1598-1603, 2011.
[4]W. Hwang, X. Huang, S.Z. Li, and J. Kim, “Face Recognition Using Extended Curvature Gabor Classifier Bunch,” Pattern Recognition, pp. 1243-1256, 2015.
[5]B.W. Hwang and S. W. Lee, “Reconstruction of Partially Damaged Face Images Based on A Morphable Face Model,” IEEE Trans. Pattern Anal. Mach. Intell. pp. 365-372, 2003.
[6]Z. Li, H.J. He, H.M. Tai, Z. Yin, and F. Chen, “Color-Direction Patch-Sparsity-Based Image Inpainting Using Multidirection Features,” IEEE Transactions on Image Processing, pp. 1138-1152, 2015.
[7]Z. Liang, G. Yang, X. Ding, and L. Li, “An Efficient Forgery Detection Algorithm for Object Removal by Exemplar-Based Image Inpainting,” J. Visual Communication and Image Representation, pp. 75-85, 2015.
[8]D. Lin, and X. Tang, “Quality-Driven Face Occlusion Detection and Recovery,” IEEE Conf. on Computer Vision and Pattern Recognition,”, pp. 1–7, 2007.
[9]D. Maturana, D. Mery and ´A. Soto, “Face Recognition with Local Binary Patterns, Spatial Pyramid Histograms and Naive Bayes Nearest Neighbor Classification,” ACM International Conference of the Chilean Computer Science Society, pp. 125-132, 2009.
[10]J.S. Park, Y.H. Oh, S.C. Ahn, and S.W. Lee, “Glasses Removal from Facial Image Using Recursive Error Compensation,” IEEE Trans. Pattern Anal. Mach. Intell. pp. 805-811, 2005.
[11]T. Ruzic and A. Pizurica, “Context-Aware Patch-Based Image Inpainting Using Markov Random Field Modeling,” IEEE Transactions on Image Processing, pp. 444-456, 2015.
[12]C.T. Tu and J.J Lien, “Non-parametric Bayesian Alignment and Recovery of Occluded Face using Direct Combined Model,” International Conference on Computer Vision Theory and Applications, pp. 495-498, 2010.
[13]S. Wang, W. Li, Y. Wang, Y. Jiang, S. Jiang, and R. Zhao, “An Improved Difference of Gaussian Filter in Face Recognition,” ACM Journal of Multimedia, pp. 429-433, 2012.
[14]P.Z. Yi, Z.Y. Hui, and Z. Yu, “Real-time Facial Expression Recognition Based on Adaptive Canny Operator Edge,” IEEE Multimedia and Information Technology (MMIT), pp. 154-157, 2010.
[15]B. Yao, H. Ai, and S. Lao, “Person-Specific Face Recognition in Unconstrained Environments: A Combination of Offline and Online Learning,” Proc. IEEE Int''l Conf. Automatic Face and Gesture Recognition, pp. 1-8, 2009.
[16]D. Yu and T. Sim, “Using Targeted Statistics for Face Regeneration,” IEEE International Conference on Automatic Face and Gesture Recognition, pp. 1-8, 2008.
[17]P. Philips, H. Moon, P. Pauss, and S. Rivzvi, “The Feret Evaluation Methodology for Face-recognition Algorithms,” IEEE Conference on Computer Vision and Pattern Recognition, pp. 137-143, 1997.
[18]A. M. Martinez and R. Benavente, “The AR Face Database,” CVC Technical Report #24, June 1998.
[19]S. Fidler, D. Skocaj and A. Leonardis. “Combining Reconstructive and Discriminative Subspace Methods for Robust Classification and Regression by Subsampling,” IEEE Trans. Pattern Anal. Mach. Intell. 28(3), pp. 337-350, 2006.
[20]H. Grabner, P. M. Roth and H. Bischof. “Eigenboosting: Combining Discriminative and Generative Information,” Presented at 2007 IEEE Conference on Computer Vision and Pattern Recognition, 2007.
[21]D. A. Huang and Y. C. F. Wang. “Coupled Dictionary and Feature Space Learning with Applications to Cross-Domain Image Synthesis and Recognition,” IEEE International Conference on Computer Vision, 2013.
[22]V. Jain and E. Learned-Miller. “Online Domain Adaptation of A Pre-Trained Cascade of Classifiers,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
[23]Y. R. Yeh, C. H. Huang and Y. C. F. Wang. “Heterogeneous Domain Adaptation and Classification by Exploiting The Correlation Subspace,” IEEE Trans. Image Process. 23(5), pp. 2009-2018, 2014.
[24]P Viola, M. J, Jones, “Robust Real-Time Face Detection,” International Journal of computer Vision, 57(2), pp. 137-154, 2004.