臺灣博碩士論文加值系統

在大數據充斥的時代，資料往往伴隨大量的樣本數及高維度，因此造成傳統的方法無法處理，為了解決高維度之問題，需要對資料進行維度縮減 (dimensionality reduction)，維度縮減通常基於一種嵌入(embedding)現象，其樣本點真正存在之空間被稱為流形(manifold)，使用一種方法，得到一個流形之過程稱為維度縮減。在本篇論文中，將介紹線性降維方法PCA及MDS與非線性降維方法Isomap、LLE及t-SNE，並深入探討t-SNE之降維方法，及使用馬可夫鏈(Markov chain)結合t-SNE來處理大量樣本之資料。最後分析5種資料，比較三種非線性降維方法，在分類上之效果，並用GUIDE decision tree作為分類之工具，來探討哪一種降維方法效果較好。

第1章 概述
第2章 維度縮減方法
2.1 問題說明
2.2 Embedding 現象
2.3 維度縮減問題
2.4 線性維度縮減
2.4.1 PCA 方法
2.4.2 cMDS 方法
2.5 非線性維度縮減
2.5.1 Isomap 方法
2.5.2 LLE 方法
第3章 t-SNE
3.1 SNE方法
3.2 UNI-SNE方法
3.3 t-SNE方法
3.3.1 t-SNE應用於大數據集
3.3.2 隨機漫步版本之t-SNE方法
第4章 模擬及實際資料分析
4.1 模擬資料分析
4.1.1 瑞士卷資料
4.1.1.1 瑞士卷資料介紹
4.1.1.2 瑞士卷資料分析
4.1.2 S 形曲線資料
4.1.2.1 S 形曲線資料介紹
4.1.2.2 S 形曲線資料分析
4.1.3 切斷的球面資料
4.1.3.1 切斷的球面資料介紹
4.1.3.2 切斷的球面資料分析
4.2 MNIST手寫數字資料分析
4.2.1 MNIST手寫數字資料介紹
4.2.2 MNIST手寫字資料分析
4.2.2.1 使用t-SNE與未使用t-SNE之比較
4.2.2.2 降維至不同維度
4.2.2.3 不同分類方法
4.2.2.4 不同降維方法
4.2.2.5 處理大數據手寫字資料集
4.3 Olivetti-Face人臉資料分析
4.3.1 Olivetti-Faces人臉資料介紹
4.3.2 Olivetti-Faces人臉資料分析
第5章 結論
參考文獻
附錄

Cook, J. A., Sutskever, I., Mnih, A., and Hinton, G. E. (2007). Visualizing similarity data with a mixture of maps. The Journal of Machine Learning Research, 2: 67–74.
Grady, L. (2006). Random walks for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(11): 1768–1783.
Hinton, G. E. and Roweis, S. T. (2002). Stochastic neighbor embedding. Advances in Neural Information Processing Systems, 15: 833–840.
Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. The Journal of Educational Psychology, 24(6): 417.
Linderman, G. C. and Steinerberger, S. (2019). Clustering with t-SNE, provably. SIAM Journal on Mathematics of Data Science, 1(2): 313–332.
Roweis, S. T. and Saul, L. K. (2000). Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500): 2323–2326.
Roweis, S. T., Saul, L. K., and Hinton, G. E. (2002). Global coordination of local linear models. Advances in Neural Information Processing Systems, 14: 889–896.
Sammon, J. W. (1969). A nonlinear mapping for data structure analysis. IEEE Transactions on Computers, 100(5): 401–409.
Shaham, U. and Steinerberger, S. (2017). Stochastic neighbor embedding separates wellseparated clusters. arXiv preprint arXiv:1702.02670.
Tenenbaum, J. B., De Silva, V., and Langford, J. C. (2000). A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500): 2319–2323.
Torgerson, W. S. (1952). Multidimensional scaling: I. theory and method. Psychometrika,17(4): 401–419.
van der Maaten, L. J. P. (2014). Accelerating t-SNE using tree-based algorithms. The Journal of Machine Learning Research, 15(1): 3221–3245.
van der Maaten, L. J. P. and Hinton, G. E. (2008). Visualizing data using t-SNE. The Journal of Machine Learning Research, 9: 2431–2456.