跳到主要內容

臺灣博碩士論文加值系統

(3.235.185.78) 您好!臺灣時間:2021/07/27 17:30
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:劉思勝
論文名稱:雲端試題分析系統建置之研究
論文名稱(外文):A Study on Establish of Cloud System of Item Analysis
指導教授:朱耀明朱耀明引用關係
學位類別:博士
校院名稱:國立高雄師範大學
系所名稱:工業科技教育學系
學門:教育學門
學類:專業科目教育學類
論文種類:學術論文
論文出版年:2015
畢業學年度:103
語文別:中文
論文頁數:139
中文關鍵詞:試題分析電腦化適性測驗b分層法曝光率
外文關鍵詞:item analysiscomputerized adaptive testb-stratifiedexposure
相關次數:
  • 被引用被引用:0
  • 點閱點閱:297
  • 評分評分:
  • 下載下載:99
  • 收藏至我的研究室書目清單書目收藏:2
雲端試題分析系統建置之研究
摘 要
本研究之主要目的是在開發「雲端試題分析系統」與電腦化適性測驗應用系統,評估雲端試題分析使用成效,以及探討有效達成試題曝光率控制的電腦化適性測驗選題策略。
本研究採用系統開發研究法,以雲端為建置平台,開發系統。「雲端試題分析系統」部分以高雄市某國小六年級學生為研究對象,進行施測,將作答資料由「雲端試題分析系統」進行分析,請學者專家進行系統效能評估。電腦化適性測驗應用系統部分以高雄市二所高中學生進行施測,以b分層法結合選擇排序法作為選題策略,線上控管試題曝光率;以均方根誤差評估系統對受試者能力估計的精準度。
研究結果如下:
一、「雲端試題分析系統」提供「試題分析」、「學生-問題表分析(S-P表)」、「學生注意係數表」、「問題注意係數表」及「試題分析結果報表」可做為判讀試題良窳及受試者能力。
二、以b分層法結合選擇排序法的選題策略,整體曝光率為20.80%,線上控管在「試題總數」/「分層區塊」值域之內,有效控管試題曝光率,同時提升試題使用率。
三、電腦化適性測驗施測平均作答題數為18.32題,平均作答時間4.56分鐘,均方根誤差值為0.68,不僅降低作答題數,同時節省測驗時間,也獲得良好的能力估計效能。


關鍵詞:試題分析、電腦化適性測驗、b分層法、曝光率

A Study on Establish of Cloud System of Item Analysis
Abstract
The purpose of this study is to develop a “cloud item analysis system” and a computer-based test application system. These two systems can evaluate the effect of cloud item analysis and explore the strategy of achieving item select rule of computer-based test with item exposure rate effectively.
The researcher uses Information System Development Methodology design as the study method and develop a system on cloud. The subjects of cloud item analysis system is the 6th grade students in Kaohsiung City. The answers of the test are analyzed by cloud item analysis system. Scholars and experts also help evaluate the system’s effectiveness. The subjects of computerized adaptive test application system are the students of two senior high schools in Kaohsiung City. The item select rule is b-stratified with a blocking combined with selection sort. The item exposure rate is controlled on internet. Root Mean Square of Error is used to evaluate the accuracy of system’s estimate toward the subjects.
The results are shown as follows:
1. The cloud item analysis system provides item analysis, student-problem chart analysis, caution index for students, caution index for items, and statistics of the item analysis. These statistics can show the quality of the items and the subject’s ability.
2. By using b-stratified with a blocking combined with selection sort as the item chosen strategy, the whole item exposure is 20.80%. In the part of item number and threshold value of b-stratified with blocking control on the Internet will control item exposure effectively and enhance the utility rate of items.
3. The average number of computerized adaptive test is 18.32, and the average finishing time is 4.56 minutes. Root Mean Square of Error is 0.68. The system not only reduce test items and test time, it also get good effectiveness of ability estimate.

Key words:item analysis, computerized adaptive test, b-stratified, exposure

目 錄
摘要 ......................................................................................................................................i
Abstract .................................................................................................................................ii
目錄 .....................................................................................................................................iii
表次 ......................................................................................................................................v
圖次 .....................................................................................................................................vi
第一章 緒論 ........................................................................................................................1
第一節 研究背景 ....................................................................................................1
第二節 研究動機 ....................................................................................................2
第三節 研究目的與待答問題 ................................................................................3
第四節 名詞釋義 ....................................................................................................4
第五節 研究範圍與限制 ........................................................................................5
第二章 文獻探討 ................................................................................................................7
第一節 雲端運算 ....................................................................................................7
第二節 古典測驗理論 ..........................................................................................13
第三節 試題反應理論 ..........................................................................................25
第四節 網際網路測驗系統開發技術之探討 ......................................................40
第三章 研究內容與方法 ..................................................................................................45
第一節 研究架構 ..................................................................................................45
第二節 開發程序 ..................................................................................................47
第三節 研究設計 ..................................................................................................49
第四節 研究對象 ..................................................................................................53
第五節 研究工具 ..................................................................................................54
第六節 資料處理 ..................................................................................................55
第四章 研究結果與討論 ..................................................................................................57
第一節 雲端試題分析系統之開發 ......................................................................57
第二節 CAT應用系統建置過程 .........................................................................75
第三節 效能評估 ..................................................................................................85
第五章 結論與建議 ........................................................................................................103
第一節 結論 ........................................................................................................103
第二節 建議 ........................................................................................................105
參考文獻 ..........................................................................................................................107
中文部份 .............................................................................................................107
英文部份 .............................................................................................................109
附錄 ..................................................................................................................................111
附錄1 測驗上傳程式碼......................................................................................111
附錄2學生注意係數表程式碼...........................................................................115
附錄3問題注意係數表程式碼...........................................................................117
附錄4 b分層法結合選擇排序法程式碼...........................................................121
附錄5估計標準誤之終止策略程式碼...............................................................126
附錄6六年級國語下學期期終評量範圍...........................................................127







表 次
表2-1 SDLC開發生命週期 ..............................................................................................11
表2-2鑑別度判斷標準 ......................................................................................................17
表2-3古典測驗理論之試題分析軟體 ..............................................................................22
表2-4以TESTER為研究工具的論文 …..........................................................................22
表3-1軟硬體設備建置規格 ..............................................................................................55
表4-1試題題庫資料表 ......................................................................................................59
表4-2單元測驗資料表........................................................................................................59
表4-3線上測驗作答資料表 ..............................................................................................59
表4-4能力預估題庫 ..........................................................................................................75
表4-5能力預估作答資料表 ..............................................................................................76
表4-6 CAT作答資料表 ….................................................................................................76
表4-7 CAT單元測驗題庫資料表 .....................................................................................77
表4-8 CAT單元測驗資料表 .............................................................................................78
表4-9學者專家 ..................................................................................................................93
表4-10雲端試題分析系統評估資料表 ............................................................................94
表4-11電腦化適性測驗作答資料表 ................................................................................97
表4-12受試者真實能力表 ................................................................................................98
表4-13 CAT受試者估計能力表 .......................................................................................98
表4-14區塊1~3試題曝光率 ..........................................................................................100
表4-15試題使用總次數 ..................................................................................................100
表4-16區塊1~3試題總曝光率 ......................................................................................101


圖 次
圖2-1 SaaS開發生命週期 .................................................................................................12
圖2-2 S-P表 .......................................................................................................................21
圖3-1 雲端系統研究架構圖 ............................................................................................46
圖3-2 雲端試題分析系統與CAT應用系統發展生命週期開發流程 ............................47
圖3-3 雲端試題分析系統架構圖 ....................................................................................51
圖3-4 CAT應用系統架構圖 .............................................................................................53
圖4-1 建置之網站 ............................................................................................................57
圖4-2 網站架構圖 ............................................................................................................58
圖4-3 單元測驗試題格式 ................................................................................................62
圖4-4 試題包含圖片編製 ................................................................................................62
圖4-5 線上測驗作答資料 ................................................................................................63
圖4-6 單元測驗上傳設定 ................................................................................................64
圖4-7 單元測驗上傳、刪除 ..............................................................................................64
圖4-8 線上測驗流程圖 ....................................................................................................65
圖4-9 測驗作答 ................................................................................................................65
圖4-10 試題分析測驗管理 ..............................................................................................66
圖4-11 線上測驗作答資料 ..............................................................................................67
圖4-12 試題分析作答資料轉換、檢核與參數選擇理 ....................................................68
圖4-13 試題分析報表 ......................................................................................................70
圖4-14 學生-問題表分析 ..............................................................................................71
圖4-15 學生注意係數表 ..................................................................................................72
圖4-16 問題注意係數表 ..................................................................................................73
圖4-17 試題分析結果報表 ..............................................................................................74
圖4-18 IRT單元測驗試題格式 ........................................................................................79
圖4-19 IRT單元測驗管理 ................................................................................................80
圖4-20 CAT測驗流程 .......................................................................................................82
圖4-21 CAT測驗視窗 .......................................................................................................83
圖4-22 CAT單元測驗輸出報表 .......................................................................................84
圖4-23 測驗作答輸出報表 ..............................................................................................86
圖4-24 試題分析報表前3題 ...........................................................................................86
圖4-25 TESTER 2.0試題分析報表前3題 .......................................................................87
圖4-26 雲端試題分析系統S-P表分析 ...........................................................................88
圖4-27 TESTER 2.0 S-P表分析 .......................................................................................88
圖4-28 學生注意係數表分析 ..........................................................................................89
圖4-29 TESTER 2.0學生注意係數表分析 ......................................................................90
圖4-30 問題注意係數表分析 ..........................................................................................91
圖4-31 TESTER 2.0問題注意係數表分析 ......................................................................91
圖4-32 雲端試題分析系統試題分析結果報表 ..............................................................92
圖4-33 TESTER 2.0試題分析結果報表 ..........................................................................92
圖4-34 CAT預試輸出報表 ...............................................................................................96
圖4-35 CAT作答試題編號 ...............................................................................................99

參考文獻
中文部份
大學入學考試中心(2014)。測驗考試。2014年11月25日。取自http://www.ceec.edu.tw/Download/Download.htm
王潔如(2012)。題庫的項目分析研究,大專院校英語系學生參考方向(未出版之碩士論文)。銘傳大學,台北市。
江秉叡(2006)。國小第一階段數常識電腦化診斷測驗系統之開發與應用(未出版之碩士論文)。國立嘉義大學,嘉義市。
朱怡君 (2005)。「a-分層」電腦適性測驗曝光率控管(未出版之碩士論文)。國立中正大學,嘉義縣。
何佳怡(2009)。提升國中生國文「反思與評價」閱讀素養之教學策略研究-以PISA閱讀試題分析為架構(未出版之碩士論文)。臺北市立教育大學,台北市。
李 濠(2012)。雲端運算應用於試題分析與選題策略(未出版之碩士論文)。輔仁大學,台北市。
李佳玲(2006)。戈登(Gordon)「音型教學」對國小二年級學童「調性音樂性向」與「歌唱音準及節奏表現正確性」影響之研究(未出版之碩士論文)。國立臺南大學,臺南市。
李威進(2004)。資訊融入九年一貫數學領域第一階段數學測驗之研究:以數字常識為例(未出版之碩士論文)。國立嘉義大學,嘉義市。
佘麗玉(2007)。高雄縣鳳山地區國二數學科段考試題分析之研究(未出版之碩士論文)。國立高雄師範大學,高雄市。
吳國良(2011)。96-100學年度大學入學考試化學考科試題分析研究(未出版之博士論文)。國立臺灣師範大學,台北市。
吳昇勳(2011)。國民中學數學科段考試題分析之研究-以高雄市前鎮區國三為例(未出版之碩士論文)。國立高雄師範大學,高雄市。
吳仁和、林信惠(2013)。系統分析與設計理論與實務應用。台北市:智勝文化事業有限公司。
吳裕益(2013)。測驗理論與應用研究2013。國立高雄師範大學特殊教育學系碩士班課堂講義。
吳志新(2005)。基於.NET的遠端教學自我調整測試系統的設計與實現(未出版之碩士論文)。東南大學,南京市。
吳肇明(2009)。國民小學自然科教師自編試題編製與學生學習狀況探討(未出版之碩士論文)。國立屏東教育大學,屏東市。
余民寧(2007)。教育測驗與評量–成就測驗與教學評量。台北市:心理出版社。
余民寧(2011)。試題反應理論(IRT)及其應用。臺北市:心理出版社。
林邦國(2009)。電腦自我調整考試系統的設計。湖北廣播電視大學學報,29(4),151-152。
林庭立(2011)。國中一年級學生文字符號概念試題編製與迷思概念分析(未出版之碩士論文)。國立臺中教育大學,台中市。
林芝伃(2009)。試題分析之研究-以全國奧林匹克數學競賽為例(未出版之碩士論文)。輔仁大學,台北市。
林美燕(2006)。馬來西亞獨中系統統一考試試題分析-以電機電子科為例(未出版之碩士論文)。國立雲林科技大學,雲林縣。
洪碧霞、吳裕益、吳鐵雄、陳英豪(1992)。能力估計方法、題庫特質及終止標準對CAT考生能力估計影響之研究。(國科會專題研究計畫成果報告編號:NSC81-0301-H024-03)。台北市:中華民國行政院國家科學委員會。
徐惠貞(2012)。新北市國二數學科段考試題分析之研究。(未出版之碩士論文)。國立高雄師範大學,高雄市。
莊正國(2007)。屏東地區國二數學科段考試題分析之研究。(未出版之碩士論文)。國立高雄師範大學,高雄市。
陳新豐(2007)。台灣學位電腦化測驗研究的回顧與展望。教育研究與發展期刊,3(4),217-248。
陳建岳(2004)。探討及實作符合SCORM規格的試題編製題庫系統。(未出版之碩士論文)。臺中健康暨管理學院,臺中市。
陳英豪、吳裕益(1998)。測驗與評量。高雄市:復文圖書出版社。
曾時暘(2013)。雲端評測與分析系統之研發(未出版之碩士論文)。崑山科技大學,台南市。
郭生玉(1993)。心理與教育測驗。台北市:精華書局。
黃聰欽(2007)。符合QTI2.0的線上多媒體題庫與測驗管理系統。(未出版之碩士論文)。臺北市立教育大學,臺北市。
黃志豪(2011)。試題分析與測驗分析之研究-以國中數學科基測模擬試題為例。(未出版之碩士論文)。國立高雄師範大學,高雄市。
張雅婷(2012)。高雄地區國中三年級數學科段考試題分析之研究。(未出版之碩士論文)。國立高雄師範大學,高雄市。
張園宗(2008)。使用AJAX技術發展符合IMS QTI國際標準之線上測驗編輯工具與測驗管理系統。(未出版之碩士論文)。淡江大學,臺北市。
張忠華、謝小慶、鄭日昌(2002)。電腦自我調整性測驗(CAT)選題策略的新進展。心理發展與教育,18(4),91-96。
維基百科。雲端運算。2013年11月19日。取自 http://zh.wikipedia.org/ wiki/%E9%9B%B2%E7%AB%AF%E9%81%8B%E7%AE%97
楊雅嵐(2011)。八年級數學科定期評量試題分析之相關研究。(未出版之碩士論文)。國立高雄師範大學,高雄市。
微軟(2007)。ASP.NET 和 Visual Studio for Web。2014年11月19日。取自http://msdn.microsoft.com/zh-tw/library/4w3ex9c2(v=vs.100).aspx
趙素珍(1998)。IRT軟體估計精準度之比較。(未出版之碩士論文)。國立台中師範學院,臺中市。
蔡元忠(2010)。數學科學習成就測驗試題分析與測驗分析之研究。(未出版之碩士論文)。國立高雄師範大學,高雄市。
藍永孝(2014)。測驗與評量標準QTI介紹。數位典藏與學習電子報,7(10),取自http://newsletter.teldap.tw/news/read_news.php?nid=2320
劉約蘭(2001)。美國電腦化測驗實施現況及未來發展趨勢之研究。2014年11月20日。取自http://report.nat.gov.tw/ReportFront/report_detail.jspx?sysId=C09000346
劉湘川、許天維、鄭富森(1998)。IRT軟體估計精確度之比較。測驗統計年刊,6,104-112。
英文部份
Birnbaum, A. (1968). Some latent trait model and their use in inferring an examinee’s ability. In F. M. Lord and M. R. Novick, Statistical theories of mental test scores (chapter 17-20). Reading, Mass: Addison-Wesley.
Chang, H.-H., & Ying, Z. (1999). a-Stratified Multistage Computerized Adaptive Testing. Applied Psychological Measurement, 23, 211–222.
Chang, H.-H., Qian, J., & Ying, Z. (2001). a-Stratified Multistage Computerized Adaptive Testing With b Blocking. Applied Psychological Measurement, 25, 333–341.
DeLone, W. H., and McLean, E. R.(2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4), 9-30.
Gulliksen, H. (1987). Theory of mental test. Hillsdale, NJ: Lawrence Erlbaum Associates.
Hamblenton, R. K. & Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Kluwer Nijhoff Publishing.
Hiscox, Michael D. & Brzezinski, Evelyn J. & Northwest Regional Educational Lab., Portland, OR. (1980). A Guide to Item Banking in Education. [Washington, D.C.] : Distributed by ERIC
Hulin, C. L., Drasgow, F., & Parsons, C. K. (1983). Item response theory: Application to psychological measurement.Homewood, Ill: Dow Jones-Irwin.
Kolen, M. J. & Brennan, R. L. (1995). Test Equating: Methods and Practices. New York: Springer-Verlag.
Kolen, M. J., & Brennan, R. L. (2004). Test equating, scaling, and linking: Methods and practices (2nd 3d.). New York: Springer-Verlag.
Kommalapati, H. & Zack, H. W. (2011, October). The SaaS Development Lifecycle. Retrieved from http://www.infoq.com/articles/SaaS-Lifecycle
Kosgi, P. (2011, March). Cloud Computing and Systems Development Life Cycle. Retrieved from http://voices.yahoo.com/cloud-computing-systems-development-life-cycle-4082837.html?cat=15
Kuder, G. F., & Richardson, M. W. (1937). The theory of the estimation of reliability. Psychometrika, 2, 151-160.
Lord, F. M. (1977). A broad-range tailored test of verbal ability. Applied Psychological Measurement, 1(1), 95-100.
Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum.
Mell, P. & Grance, T. (2011, December). The NIST Definition of Cloud Computing. Retrieved from http://csrc.nist.gov/publications/nistpubs/800-145/SP800-145.pdf
Mislevy, R. J., & Stocking, M. L. (1989). A consumer’s guide to LOGIST and BILOG. Applied Psychological Measurement, 13(1), 57-75.
Qian, J., & Chang, H. H., (2003). a-Stratified CAT design with content blocking. Applied Psychological Measurement, 56, 359–378.
Royce, W. W. (1987). Managing the Development of Large Software Systems, Proc. 9th. Intern. Conf.Software Engineering, IEEE Computer Society, 1987 ,328-338 Originally published in Proc.WESCON, 1970.
SCORM(2014). SCORM 2004 4th Edition. Retrieved from http://www.adlnet.gov/scorm/scorm-2004-4th/
Sympson, J. B., & Hetter, R. D. (1985). Controlling item-exposure rates in computerized adaptive testing. Proceedings of the 27th Annual Meeting of the MilitaryTesting Association (pp. 973-977). San Diego, CA: Navy Personnel Research and Development Center.
Urry, V. W. (1970). A monte carlo investigation of logistic test models. Unpublished doctoral dissertation, Purdue University, West Lafayette, IN.
Weiss, D. J. (1982). Improving measurement quality and efficiency with adaptive testing. Applied Psychological Measurement, 6, 473-492.
Weiss, D. J., & Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement, 21, 361-375.
Yi, Q. (2002). Incorporating the Sympson-Hetter exposure control method into the a-stratified method with content blocking. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), New Orleans, LA

連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
1. 陳怡安(2002)。線上遊戲之魅力。資訊社會研究。3,183-213。
2. 侯堂柱、黃俊彥、趙定濤(2006)。員工工作生活品質與組織承諾、組織公民行為關係之研究。華醫學報,24,61-71。
3. 翁正修(民 91)。數位內容產業蓄勢待發。數位新世紀,第2期,2002年6月。經濟部工業局。
4. 楊建昌、賴靜莉、洪燕妮、楊紅玉、廖茂宏、魏慶國等(2005)。醫療機構人員工作價值觀與組織公民行為相關性之研究。醫院,38,22-35。
5. 林金定 ; 嚴嘉楓 ; 陳美花(2005)。質性研究方法:訪談模式與實施步驟分析。身心障礙研究。,3 卷 2 期,p.122~136
6. 李聲吼(1997)。人力資源發展的能力內涵。就業與訓練,15(2),59。
7. 李隆盛(2001b)。美國能力本位課程發展模式。就業與訓練雙月刊。19, 37-45.
8. 李恩東(民 87)。國內外網路遊戲型態與相關服務探討。教學科技與媒體,37,頁41-54。
9. 楊志弘、蘇妍文(2006)。東森電視公司的組織認定、組織形象與組織公民行為之關聯性研究。傳播管理學刊,7,1-28。
10. 黃國隆、蔡啟通(1998)。工作價值觀與領導行為對員工效能的影響。臺大管理論叢,9,51-85。
11. 黃坤祥、張庭榮、蔡惠全、陳秋蘭(2005)。知識管理、資訊科技運用與組織公民行為之研究─高雄地區三大造船廠之實證分析。企業管理學報,64,103-131。
12. 許道然(2003)。公部門組織信任與組織公民行為關係之研究。空大行政學報,13,1-36。
13. 洪榮昭(1993)。八十一年度台灣地區工作價值觀與工作生活品質調查,研考雙月刊,十七卷,第一期,頁20-31。
14. 洪雅玲(2007),台灣數位內容產業人才培訓問題探討:以遊戲、動畫產業為例。資訊社會研究(12)頁213-240,2007年1月
15. 林鉦棽、凌欣慧(2004)。生涯階段、專業承諾、組織承諾對組織退卻行為與公民行為的影響。管理研究學報,4,271-310。
 
無相關點閱論文