臺灣博碩士論文加值系統

在科技日新月異的時代，我們所能獲得資訊的方式也越來越快速與多樣化，但也因這些資料過於大量，且大多屬於高維度與高複雜度之資料，導致使用傳統的方法分析這些巨量資料不僅耗時又困難，因此該如何有效的處理巨量資料成為這個世代非常重要的議題。
許多的研究顯示，在處理高維度資料時會遇到所謂的Hughes現象，而支撐向量機（support vector machine, SVM）可以有效的克服此現象。然而非線性的支撐向量機，需應用核技巧（kernel trick）將資料透過隱映射的方式，對應到特徵空間。在特徵空間中，利用線性支撐向量機找到最佳分類邊界，相對於原空間的資料，即為一個非線性的分類邊界。但核函數挑選或核函數（kernel function）參數值的選取對分類的性能有很大的影響，使用傳統方法交叉驗證法挑選不僅耗時也無法保證會得到一個最佳解的參數。因此，如何有效地決定核函數參數是一種大課題。Li等人提出的自動核函數參數挑選法（automatic parameter selection, APS），可以有效且快速地找到RBF（Radial Basis Function）核函數最佳參數。本研究將APS概念推廣，應用在尋找FRBF（Full Bandwidth RBF）核函數的最佳參數組合。
另外，在處理高維度資料時，許多研究者也想知道其中哪些特徵比較重要，哪些特徵對分類是有幫助的，故本研究根據FRBF核函數最佳參數的值來決定特徵的重要程度，進而提出一個核化特徵選取法（kernel-based feature selection, KFS）。根據模擬資料的實驗結果，此方法可以有效地找到具有最大非線性分散程度的特徵子集合。除了可以提供研究者了解特徵之重要性外，進而能提高支撐向量機的分類效能。

Many researches show that dealing with the high-dimensional data with limit training samples encounters the Hughes phenomenon. Additionally, the nonlinear support vector machine (SVM) can overcome it efficiently. Nonlinear SVM is widely applied in various real-life fields including bioinformatics, medicine, food safety, forensics, text classification, and so on. However, the choice of kernel functions or their parameters has a large influence on classification performance by applying nonlinear SVM. Traditionally, the cross-validation based on grid search is used to pre-determine the appropriate kernel parameters. Nevertheless, it not only costs lots of time but also can’t guarantee to get the “best” parameters. Therefore, how to choose the kernel parameters efficiently and fast is a big issue for kernel-based algorithm.
An automatic kernel parameter selection (APS) method was proposed by Li in 2010 and 2012, and the suitable kernel parameter of Radial Basis Function (RBF) kernel can be pre-determine in few seconds. In this study, we extend the APS to find the good parameters of the full bandwidth RBF (FRBF) kernel. Furthermore, these proper parameters can be used to determine the feature importance based on the largest nonlinear separability.
According to the experimental results among simulation data set and real data sets, the classification accuracies by applying SVM based on FRBF kernel with the kernel parameters pre-determined by APS (SVM_FRBF) are higher than those by applying SVM based on RBF kernel with the kernel parameter pre-determined by APS (SVM_RBF). In addition, for SVM_RBF based on the suitable feature subset by proposed feature selection method (KFS+SVM_RBF), the corresponding classification accuracy may be higher than SVM_FRBF and SVM_RBF with whole features.

摘要 I
ABSTRACT III
目錄 V
表目錄 VII
圖目錄 IX
第一章　緒論 1
第一節　研究動機 1
第二節　研究目的 3
第二章　文獻探討 9
第一節　支撐向量機 9
第二節　核函數最佳參數選擇法 12
第三節　特徵選取 15
第四節　基因演算法 16
第三章　研究方法 19
第一節　自動FULL-BANDWIDTH RBF核參數挑選法 19
第二節　基於核函數特徵選取法之應用 25
第四章　實驗設計 29
第一節　資料描述 29
壹、UCI資料庫之資料集 29
一、Wine資料集 29
二、Image Segmentation資料集 29
三、Ionosphere資料集 30
貳、教育測驗資料集 30
參、高光譜影像資料集 32
一、Pavia University Scene影像資料集 32
二、Indian Pine Site影像資料集 34
第二節　實驗描述 36
第五章　實驗結果 39
第一節　UCI資料庫之資料集 39
第二節　教育測驗資料集 44
第三節　高光譜影像資料集 46
第六章　結論與未來發展 55
參考文獻 57
中文部分 57
英文部分 59
附錄一 教育測驗資料試題 65

中文部分
王驥魁、朱宏杰、林志交、曾義星（2012）。全波形光達與高光譜影像融合於地物分類應用。行政院災害防救應用科技方案暨國家災害防救科技中心成果聯合發表會（編號﹕66），內政部地政司。
林俊宏（譯）（2014a）。大數據：教育篇：教學與學習的未來趨勢（原作者：Viktor Mayer-Schönberger,Kenneth Cukier）。臺北市：天下文化。（原著出版年：2014）
林俊宏（譯）（2014b）。大數據（原作者：Viktor Mayer-Schönberger,Kenneth Cukier）。臺北市：天下文化。（原著出版年：2014）
林建智（2002）。基因演算法與類神經網路整合應用之探討－以流程式工廠訂單排程為例（未出版之碩士論文）。國立台灣科技大學，臺北市。
林楨家（1999）。都市計畫草圖替選方案分析模式（未出版之博士論文）。國立交通大學，新竹市。
施明倫、林唐煌、洪志豪、蔡廣叡（2013）。可攜式高光譜影像儀應用於遙測空氣品質指標。航測及遙測學刊，4（16），229-243。
張光佑（2005）。探討特徵萃取要素於小樣本分類問題（未出版之碩士論文）。國立臺中教育大學，臺中市。
張偉民（2012）。一個基於相關矩陣之特徵萃取法（未出版之碩士論文）。國立臺中教育大學，臺中市。
陳天來、陳用佛（2014）。以高光譜影像分析紅色印泥之評估。2014 年鑑識科學研討會，桃園縣中央警察大學。
陳柏榮（2002）。以限制規劃程式構建投資組合決策支援系統之研究（未出版之碩士論文）。國立交通大學，新竹市。
博士論文）。國立中央大學，桃園縣。
黃乙哲（2009）。紋理特徵分析用於偵測乳房攝影微小鈣化群（未出版之碩士論文）。中國醫藥大學，臺中市。
黃承龍、陳穆臻、王界人（2004）。支援向量機於信用評等之應用。計量管理期刊，1（2），155-172。
黃福居（2001）。全三維軸流風扇的葉片最佳化設計（未出版之碩士論文）。國立成功大學，台南市。
葉育惠、鐘偉菖、廖睿瑜、鍾嘉綾、郭彥甫、林達德（2014）。高光譜與多光譜影像技術應用於植物病害檢測之研究。2014年科技部生科司農業環境科學學門成果發表會（編號﹕C-O2），國立中興大學。
詹正維、廖學華、郭伯臣、紀明宏（2005）。高維度資料辨識系統。台灣地理資訊學會年會暨學術研討會，臺中市：逢甲大學。
蔡爾逸（2012）。應用支撐向量機(SVM)於都市不動產價格預測之研究（未出版之
鄭俊彥（2011）。大學微積分電腦化建構反應題及自動分析機制研發（未出版之碩士論文）。國立臺中教育大學，臺中市。
簡卉伶（2008）。中文郵件過濾系統特徵選取之效度探討（未出版之碩士論文）。東吳大學，臺北市。

英文部分
Bache, K. & Lichman, M. (2013). UCI Machine Learning Repository, from http://archive.ics.uci.edu/ml/
Benediktsson, J. A., Palmason, A. J. & Sveinsson, J. R. (2005). Classification of hyperspectral data from urban areas based on extended morphological profiles. IEEE Transactions on Geoscience and Remote Sensing, 55, 229-243.
Benediktsson, J. A., Palmason, A. J., & Sveinsson, J. R. (2005). Classification of hyperspectral data from urban areas based on extended morphological profiles, IEEE Transactions on Geoscience and Remote Sensing, 55, 229-243.
Boser, B. E., Guyon, I. M., & Vapnik, V. N. (1992). A training algorithm for optimal margin classifiers. Proceedings of the Fifth Annual Workshop on Computational Learning Theory, 144-152.
Bruzzone, L., & Persello, C. (2009). A novel context-sensitive semisupervised SVM classifier robust to mislabeled training samples. IEEE Transactions on Geoscience and Remote Sensing, 47(7), 2142-2154.
Camps, V. G., & Bruzzone, L. (2005). Kernel-based methods for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 43(6), 1351-1362.
Camps-Valls, G., Gomez-Chova, L., Calpe, J., Soria, E., Martín, J. D., Alonso, L., & Moreno, J. (2004). Robust support vector method for hyperspectral data classification and knowledge discovery. IEEE Transactions on Geoscience and Remote Sensing, 42(7), 1530-1542.
Camps-Valls, G., Gomez-Chova, L., Munoz-Mari, J., Vila-Frances, J., & Calpe-Maravilla, J. (2006). Composite kernels for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing Letters, 3(1), 93-97.
Cariou, C., Chehdi, K., & Moan, S. L. (2011). BandClust: an unsupervised band reduction method for hyperspectral remote sensing. IEEE Geoscience and Remote Sensing Letters, 8(3), 565-569.
Chang, C. C., & Lin, C. J. (2001). LIBSVM: A Library for Support Vector Machines. Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm
Chang, C. I., Wu, C. C., Liu, W. M., & Ouyang, Y. C. (2006). A new growing method for simplex-based endmember extraction algorithm. IEEE Transactions on Geoscience and Remote Sensing, 44(10), 2804-2819.
Chapelle, O., Vapnik, V., Bousquet, O., & Mukherjee, S. (2002). Choosing multiple parameters for support vector machines. Machine Learning, 46, 131-159.
Chen, Y. W. & Lin, C. J. (2006). Combining SVMs with various feature selection strategies. Available from http://www.csie.ntu.edu.tw/~cjlin/papers/features.pdf.
Conn, A. R., Gould, N. I. M., & Toint, Ph. L. (1991). A Globally Convergent Augmented Lagrangian Algorithm for Optimization with General Constraints and Simple Bounds. SIAM Journal on Numerical Analysis, 28(2), 545-572.
Conn, A. R., Gould, N. I. M., & Toint, Ph. L. (1997). A Globally Convergent Augmented Lagrangian Barrier Algorithm for Optimization with General Inequality Constraints and Simple Bounds. Mathematics of Computation, 66(217), 261-288.
Dell’Acqua, F., Gamba, P., & Ferrari, A. (2003). Exploiting spectral and spatial information for classifying hyperspectral data in urban areas. Proceedings of IGARSS, 1, 464-466. Toulouse, France.
Dhir, C. S., Iqbal, N., & Lee, S. C. (2007). Efficient feature selection based on information gain criterion for face recognition. Proceedings of the 2007 International Conference on Information Acquisition, Jeju City, Korea.
Fauvel, M., Chanussot, J., & Benediktsson, J. A. (2006). Evaluation of kernels for multiclass classification of hyperspectral remote sensing data. In Proc. ICASSP, II-813–II-816.
Fauvel, M., Chanussot, J., & Benediktsson, J. A. (2006). Kernel Principal Component Analysis for Feature Reduction in Hyperspectrale Images Analysis. Proceedings of the Nordic Signal Processing Symposium, 7, 238-241.
Fisher, R. A. (1936). The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7(2), 179-188.
Goldberg, D. E. (1989). Genetic Algorithms in Search, Optimization & Machine Learning. Addison-Wesley.
Goldberg, D. E. (1989). Genetic Algorithms in Search, Optimization & Machine Learning. Boston：Addison-Wesley
Holland, J. H. (1992). Adaptation in Natural and Artificial System (2th Ed). Cambridge, MA: MIT Press.
Hsu, C. W., Chang, C. C., & Lin, C. J. (2003). A practical guide to support vector classification. http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf
Hughes, G. F. (1968). On the mean accuracy of statistical pattern recognizers. IEEE Transactions on Information Theory, 14(1), 55-63.
Jia, X., & Richards, J. A. (1994). Efficient maximum likelihood classification for imaging spectrometer data sets. IEEE Transactions on Geoscience and Remote Sensing, 32, 274-281.
Kuncheva, L. I. & Vetrov, D. P. (2006). Evaluation of stability of k-means cluster ensembles with respect to random initialization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(11), 1798-1808.
Kuo, B. C., & Chang, K. Y. (2007). Feature extractions for small sample size classification problem. IEEE Transactions on Geoscience and Remote Sensing, 45(3), 756-764.
Kuo, B. C., Li, C. H., & Yang, J. M. (2009). Kernel nonparametric weighted feature extraction for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 47(4), 1139-1155.
Kwon, H., & Gurram, P. (2010). Optimal kernel bandwidth estimation for hyperspectral kernel-based anomaly detection. Proceedings of International Geosciences and Remote Sensing Symposium (IGARSS), 2812-2815.
Landgrebe, D. A. (2003). Signal Theory Methods in Multispectral Remote Sensing. John Wiley and Sons, Hoboken, NJ: Chichester.
Li, C. H., Ho, H. H., Liu, Y. L. Lin, C. T., Kuo, B. C., & Taur, J. S. (2012). An automatic method for selecting the parameter of the normalized kernel function to support vector machines. Journal of Information Science and Engineering, 28(1), 1-15.
Li, C. H., Lin, C. T., Kuo, B. C., & Chu, H. S. (2010). An automatic method for selecting the parameter of the RBF kernel function to support vector machines. IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 836-839.
Liu, H. M. (1998). Feature Selection for Knowledge Discovery and DataMining. Boston: Kluwer Academic Publishers.
Manolakis, D., Marden, D., & Shaw, G. A. (2003). Hyperspectral Image Processing for Automatic Target Detection Applications. LINCOLN LABORATORY JOURNAL, 14(1), 79-116.
Melgani, F., & Bruzzone, L. (2004). Classification of hyperspectral remote sensing images with support vector machines. IEEE Transactions on Geoscience and Remote Sensing, 42(8), 1778-1790.
Schölkopf, B., & Smola, A. J. (2001). Learning with Kernels. MIT Press, Cambridge, MA.
Shawe-Taylor, J., & Cristianini, N. (2004). Kernel Methods for Pattern Analysis. Cambridge University Press, New York, NY.
Vapnik, V. N. (2001). The Nature of Statistical Learning Theory (2th ed.). New York: Springer-Verlag.
Xu, Y., Liu, J., Hu, Q., Chen, Z., Du, X., & Heng, P. A. (2008). F-score Feature Selection Method May Improve Texture-based Liver Segmentation Strategies. Proceedings of 2008 IEEE International Symposium on IT in Medicine and Education, 697-702.
Yu, S. & Guan, L. (2000). A CAD system for the automatic detection of clustered microcalcifications in digitized mammogram films. IEEE Transactions Medical Imaging, 19(2), 115-126.
McKinney, D. C. & Lin, M. D. (1994). Genetic Algorithm Solution of Groundwater Management Models. Water Resources Res, 30(6), 1897-1906.
Chen, Y. M. (1997). Management of Water Resources Using Improved Genetic Algorithms. Computers and electronics in agriculture, 18, 117-127.
Harrouni, K. EI., Ouazar, D., Walters, G. A., & Cheng, A. H.-D. (1997).Groundwater Optimization and Parameter Estimation by Genetic Algorithm and Dual Reciprocity Boundary Element Method. Engineering Analysis with Boundary Elements, 18(4), 287-296.
Haupt, R. L. & Haupt. S. E. (1998). Practical genetic algorithms. New York : Wiley.
Garrard, A. & Fraga, E. S. (1998). Mass exchange network synthesis using genetic algorithms. Computers & Chemical Engineering, 22(12), 1837-1850.