臺灣博碩士論文加值系統

探索性資料分析(exploratory data analysis, EDA)是運用統計圖表和視覺化技術，呈現資料的結構及樣態，讓使用者從中探索潛藏於資料所包含的訊息。本論文運用網路應用框架Shiny，配合Plotly開發一個互動式的資料維度縮減視覺化分析平臺，以利使用者進行高維度探索性資料分析。針對現存於R軟體中的多種線性演算法、非線性演算法及使用者自定的維度縮減方法，我們開發了使用者操作介面，建立圖形與圖形間的資料連結，並且加入維度縮減的評估指標。相較於傳統使用R語言所撰寫的靜態分析圖表，本研究所開發的視覺化分析平臺是一個有效的資料探索分析工具。

Exploratory data analysis (EDA) is an approach to allow users to explore the structure and pattern of data through the use of statistical graphics and visualization techniques. In this study, we employed Shiny and Plotly, the well-known web application frameworks, to develop a web-based application, namely drEDA, for interactively exploring high-dimensional data sets based on various dimension reduction (DR) methods. We implemented the GUIs for both the linear, the non-linear and the customized algorithms of DR methods. The linking and brushing between scatterplots and the reports for validation indices of DR methods were also developed. In summary, drEDA is a powerful and effective tool for data exploration comparing to the traditional static graphical methods.

目 錄
1 緒論 1
1.1 探索性資料分析 1
1.2 維度縮減 1
1.3 研究目的與動機 4
1.4 文章架構 5
2 drEDA：一個基於維度縮減技術的互動式探索性資料分析網頁應用程式 6
2.1 設計架構 6
2.2 使用 drEDA 6
2.3 主視窗工具列 6
2.4 自動生成分析程式碼 10
2.5 資料匯入 10
3 基本統計圖 12
4 維度縮減 13
4.1 線性維度縮減 14
4.2 非線性維度縮減法 20
4.3 維度縮減評估指標 24
4.4 使用者自訂功能 25
5 實例應用 29
5.1 瑞士捲資料 29
5.2 2016 年 MLB 球員陳偉殷投球資料 32
6 軟體及套件比較 40
7 結論與討論 42
參考文獻 42


圖 目 錄
1 drEDA 互動式探索性資料分析設計架構。 7
2 drEDA 互動式探索性資料分析網頁應用程式使用者介面。 8
3 選單列表 9
4 drEDA 資料匯入之流程。 11
5 以散佈圖、盒形圖及直方圖等統計圖呈現 iris 資料各變量的範例。 13
6 奇異值分解功能畫面。 14
7 運用主成分分析於 iris 資料之功能畫面及其結果。 16
8 切片逆迴歸功能畫面。 18
9 切片平均變異數估計功能畫面。 19
10 主要赫斯方向功能畫面。 20
11 多元尺度法功能畫面。 21
12 等距特徵映射功能畫面。 22
13 核化主成分分析功能畫面。 24
14 區域連續後設準則法功能畫面。 25
15 使用者介面程式碼。 27
16 Server 端運算程式碼。 29
17 瑞士捲資料之直方圖及其維度縮減 (PCA 和 ISOMAP) 後之2D 投影散佈圖，括弧內是 lcmc 維度縮減評估指標值。 30
18 瑞士捲原始資料點及其 PCA、ISOMAP 方法之二維散佈圖，黑色點為使用者所圈選的資料點，這些資料點會在各圖形中連結並呈現出來。 31
19 圖形為 ISOMAP 方法所產生的新資料集熱圖，透過滑鼠框選可觀察其細節。 32
20 陳偉殷投球資料之 2D 與 3D 投影散佈圖。 33
21 陳偉殷投球資料各變量與球種間的直方圖。 34
22 陳偉殷投球資料各變量與球種間的盒形圖。 35
23 應用不同維度縮減法 (PCA、SIR、MDS、KPCA 及 ISOMAP)於 2016 年陳偉殷投球資料之 2D 投影散佈圖。 38
24 陳偉殷投球資料維度縮減 (PCA、SIR 和 MDS) 後之 LCMC指標。 39


表 目 錄
1 R 軟體中的維度縮減方法函式及其所屬套件 3
2 R 語言圖形化使用者介面 5
3 陳偉殷投球資料經主成分分析後新維度之負荷 36
4 陳偉殷投球資料經切片逆迴歸法後新維度之負荷 36
5 資料探索 GUI 軟體及套件比較表 41

參考文獻

Anderson, E. (1935). The irises of the Gaspe peninsula. Bulletin of the American iris society, 59, 2-5.

Chang, W., and Wickham, H. (2016). ggvis: interactive grammar of graphics. R package version 0.4.3. URL: https://CRAN. R-project. org/package=ggvis.

Chang, W., Cheng, J., Allaire, J. J., Xie, Y., and McPherson, J. (2017).shiny: web application framework for R. R package version 1.0.0. URL:https://CRAN. R-project. org/package=shiny.

Cheng, J., Galili, T., Rstudio, I., Bostock, M., and Palmer, J. (2016).d3heatmap: interactive heat maps using “htmlwidgets”and “D3.j3. R package”, version 0.6.1.1. URL: https://CRAN. R-project. org/package=d3heatmap.

Chen, L., and Buja, A. (2006). Local multidimensional scaling for nonlinear dimension reduction, graph layout and proximity analysis. Unpublished thesis, University of Pennsylvania, http://www-stat. wharton.upenn.edu/buja/PAPERS/lmds-chen-buja.pdf.

Cook, R.D., and Weisberg, S. (1991) Discussion of“sliced inverse regression for dimension reduction”by K. C. Li. Journal of the American statistical association, 86, 328-332.

Fellows, I. (2012). Deducer: a data analysis GUI for R. Journal of statistical software, 49(8), 1-15.

Fox, J. (2005). Getting started with the R commander: a basic-statistics graphical user interface to R. Journal of statistical software, 14(9), 1-42.

Ihaka, R., and Gentleman, R. (1996). R: a language for data analysis and graphics. Journal of computational and graphical statistics, 5(3), 299-314.

Kruskal, J. B. (1964). Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis. Psychometrika, 29(1), 1-27.

Li, K. C. (1991). Sliced inverse regression for dimension reduction. Journal of the American statistical association, 86(414), 316-327.

Li, K. C. (1992). On principal Hessian directions for data visualization and dimension reduction: Another application of Stein’s lemma. Journal of the American statistical association, 87(420), 1025-1039.

Oksanen, J., Blanchet, F. G., Kindt, R., Legendre, P., Minchin, P. R., O’hara, R. B., ..., and Oksanen, M. J. (2017). Package ‘vegan’. Community ecology package, version 2.4-3. URL: https://CRAN.R-project. org/package=vegan.

Pearson, K. (1901). LIII. On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin philosophical magazine and journal of science, 2(11), 559-572.

Rödiger, S., Friedrichsmeier, T., Kapat, P., and Michalke, M. (2012). RKWard: a comprehensive graphical user interface and integrated development environment for statistical analysis with R. Journal of statistical software, 49(9), 1-34.

Roweis, S. T., and Saul, L. K. (2000). Nonlinear dimensionality reduction by locally linear embedding. Science 290(5500), 2323-2326.

Schölkopf, B., Smola, A., and Müller, K. R. (1997, October). Kernel principal component analysis. In International conference on artificial neural networks (pp. 583-588). Springer Berlin Heidelberg.

Sievert, C., Parmer, C., Hocking, T., Chamberlain, S., Ram, K., Corvellec, M., and Despouy, P. (2017). plotly: create interactive web graphics via ‘plotly. js’. R package version, 4.7.0. URL: https://CRAN.Rproject.org/package=plotly

Tenenbaum, J. B., De Silva, V., and Langford, J. C. (2000). A global geometric framework for nonlinear dimensionality reduction. Science 290(5500), 2319-2323.

Tukey, J. W. (1977). Exploratory data analysis: Pearson; 1st edition.

Valero-Mora, P. M., and Ledesma, R. D. (2012). Graphical user interface for R. Journal of statistical software, 49(1), 1-8.

Weisberg, S. (2002). Dimension reduction regression in R. Journal of statistical software, 7(1), 1-22.

Williams, G. J. (2009). Rattle: a data mining GUI for R. The R journal, 1(2), 45-55.

Zeileis, A., Hornik, K., Smola, A., and Karatzoglou, A. (2004). kernlab-an S4 package for kernel methods in R. Journal of statistical software, 11(9), 1-20.