臺灣博碩士論文加值系統

在研究與量化中醫資料時，由於中醫的診斷依賴中醫師的知識與經驗等主觀判斷，各醫師之間的判讀也可能有極大的差異，因此醫師判讀之間的一致性程度是很重要的課題。探討一致性程度可以利用已知的一致性統計量來得到，在過去的研究當中大多使用Cohen's kappa 來計算一致性，但受限於方法的適用性，只能計算兩位判讀者之間的一致性。而Fleiss (1971) 提出了Fleiss' kappa 可適用於多位判讀者共同判讀的情況，但卻無法用於包含程度輕重等有序資料。Krippendorff (1970) 提出了一種信賴係數稱為
Krippendorff's alpha, 這個一致性係數可用於多位判讀者且不一致性有分輕重的情況，並且能容許遺失值的產生，有效的解決兩種kappa 分別遇到的困難。
在得到一致性統計量之後，對於信賴區間的計算也很重要。Cohen 與Fleiss 都假設在大樣本的情況，統計量近似於常態分配來得到信賴區間，但若資料收集困難導致樣本數過小，可能無法收斂至常態分配；而Krippendorff 使用拔靴法(bootstrapping)來得到
Krippendorff's alpha 的信賴區間。本文中我們將分別使用拔靴法及部分抽樣法(subsampling)來得到kappa 的信賴區間，並比較拔靴法與部分抽樣法所得到信賴區間的差異。在兩個判讀者之下可使用Cohen's kappa，並使用常態法與拔靴法來得到信賴區間，Cohen's kappa 不適用部分抽樣法；在多位判讀者之下可使用Krippendorff's alpha，而使用拔靴法或部分抽樣法都可以得到可接受的信賴區間，但部分抽樣法的計算量較小。

In Traditional Chinese Medicine (TCM) diagnosis, the TCM physicians rely heavily on
their training and personal experiences according to the knowledge of tongue inspection.
However, different TCM physicians may make different judgments for the same disease.
Therefore, it is an important issue to study the degree of agreement among several distinct
physicians in TCM. Apart from the commonly used “proportion of agreement”, Cohen (1960)
and Fleiss (1971) proposed “kappa” to measure the degree of agreement, which took “random
agreement” into account. In order to encompass the case when there are many raters as well as
the case when the data is ordinal, Krippendorff (1971) proposed the so-called “Krippendorff’s
alpha”. Cohen’s kappa and Fleiss kappa adopted normal approximation to calculate the
confidence interval of an estimated kappa; while in many practical situations, it is not easy to
obtain a large sample for so many raters simultaneously. Krippendorff suggested to adopt
“bootstrapping” to obtain a confidence interval for the estimates of Krippendorff’s alpha. We
not only modify Krippendorff’s algorithm to obtain a bootstrapping confidence interval that
includes the estimate of the Krippendorff’s alpha but also use subsampling to obtain a
reasonable confidence interval of the estimate of Krippendorff’s alpha of a tongue inspection
dataset. Finally, we compare all approaches mentioned in this paper.

目 錄
摘要i
目錄 iii
圖目錄 iv
表目錄 v
第一章 研究動機與文獻探討1
第二章 統計方法6
2.1 一致性統計量6
2.2 估計一致性統計量信賴區間的方法14
2.3 拔靴法中M的取值20
2.4 部分抽樣法中b的取值25
第三章 實例分析27
3.1 彰基舌診資料27
3.2 Cohen資料33
第四章 結論34
參考文獻36
附錄38

圖 目 錄
圖1-1：一致性與相關性的差別 2
圖2-1：當M=55時，表2-7資料經拔靴法抽樣後的分佈情況 21
圖2-2：當M=40時，表2-7資料經拔靴法抽樣後的分佈情況 21
圖2-3：當M=675時，表2-8資料經拔靴法抽樣後的分佈情況 23
圖2-4：當M=150時，表2-8資料經拔靴法抽樣後的分佈情況 23
圖2-5：使用表2-8資料進行拔靴法，在不同M值下的信賴區間比較 24
圖2-6：使用表2-8資料進行部分抽樣法，在不同b值下的信賴區間比較 26
圖3-1彰基舌診資料對Fleiss' kappa使用拔靴法抽取次數之比較 29
圖3-2彰基舌診資料對Fleiss' kappa進行部分抽樣法之比較 30
圖3-3：彰基舌診資料對Krippendorff's alpha進行部分抽樣法之比較 31



表 目 錄
表2-1：Cohen's kappa的資料型態 6
表2-2：Fleiss' kappa的資料型態 7
表2-3：Cohen's weighted kappa的資料型態 9
表2-4：Krippendorff's alpha的資料型態 10
表2-5：一致矩陣 11
表2-6：使用一致矩陣當作假設分配進行拔靴法 16
表2-7：Krippendorff使用之範例 20
表2-8：彰基舌診資料 22
表2-9：使用表2-8資料進行拔靴法，在不同M值下的信賴區間 24
表2-10：使用表2-8資料進行部分抽樣法，在不同b值下的信賴區間 26
表3-1：彰基舌診資料 27
表3-2：彰基舌診資料對Fleiss' kappa使用拔靴法抽取次數 28
表3-3：彰基舌診資料對Fleiss' kappa進行部分抽樣法 30
表3-4：彰基舌診資料對Krippendorff's alpha進行部分抽樣法 31
表3-5各種方法所得之信賴區間 32
表3-6：Cohen (1968)文章中的範例 33

B Herjanic, W Reich (1982). Development of a Structured Psychiatric Interview for Children:
Agreement between Child and Parent on Individual Symptoms. Journal of Abnormal Child
Psychology. 10, No. 3,307-324
Cohen Jacob (1960). A coefficient of agreement for nominal scales.Educational and
Psychological Measurement, 20 (1), 37-46.
Cohen Jacob (1968).Weighted kappa: Nominal scale agreement with provision for scaled
disagreement or partial credit. Psychological Bulletin, 70, 213-220.
Dimitris N. Politis ,Joseph P. Romano,Michael Wolf.(1999). Subsampling .Springer,1-64.
Efron B. (1979). Bootstrap Methods: Another Look at the Jackknife. The Annals of
Statistics ,7 (1),1-26.
Efron B. (1981). Nonparametric estimates of standard error: The jackknife, the bootstrap and
other methods. Biometrika, 68,589-599.
Efron B. (1987). Better Bootstrap Confidence Intervals. Journal of the American Statistical
Association ,82,171-185.
Efron B. Tibshirani, R. (1993). An Introduction to the Bootstrap. Boca Raton, FL: Chapman
& Hall/CRC.
Fleiss Joseph L. (1971). Measuring nominal scale agreement among many raters.
Psychological Bulletin, 76, 378-382.
Fleiss Joseph L. and Cohen Jacob (1973).The equivalence of weighted kappa and the
intraclass correlation coefficient as measures of reliability. Educational and Psychological
Measurement, 33,613-619.
Goodman Leo A. and Kruskal William H. (1954). Measures of association for cross
classifications. Journal of the American Statistical Association, 49, 732-764.
JC van Swieten, PJ Koudstaal, MC Visser, HJ Schouten and J van Gijn(1988). Interobserver
agreement for the assessment of handicap in stroke patients. Stroke, 19, 604-607.
KM Detre, E Wright, ML Murphy and T Takaro (1975). Observer agreement in evaluating
coronary angiograms.Circulation, 52, 979-986.
Krippendorff Klaus (1970). Estimating the reliability, systematic error, and random error of
interval data. Educational and Psychological Measurement, 30 (1),61-70.
Krippendorff Klaus (1978). Reliability of binary attribute data. Biometrics, 34 (1), 142-144.
Krippendorff Klaus (2004). Content analysis: An introduction to its methodology. Thousand
Oaks.
Mahler DA, Weinberg DH, Wells CK, Feinstein AR (1984). The measurement of dyspnea
Contents, interobserver agreement, and physiologic correlates of two new clinical indexes.
Chest,85(6),751-8.
Minah Kim, Deirdre Cobbin, Christopher Zaslawski (2008). Traditional Chinese Medicine
Tongue Inspection: An Examination of the Inter- and Intrapractitioner Reliability for Specific
Tongue Characteristics. Complementary Medicine,14(5), 527-536.
T L Bush, S R Miller (1989). Self-report and medical record report agreement of selected
medical conditions in the elderly. American Journal of Public Health, 79, 11,1554-1556.