(3.238.96.184) 您好!臺灣時間:2021/05/12 16:47
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

: 
twitterline
研究生:陳柏亦
研究生(外文):Bo-Yi Chen
論文名稱:相機樂譜辨識方法之設計與實現
論文名稱(外文):The Design and Implementation of Vision–Based Music Score Recognition System
指導教授:戴任詔戴任詔引用關係
指導教授(外文):Jen-Chao Tai
口試委員:黃敏昌任復華
口試委員(外文):Min - Chan HwangFu-hua Jen
口試日期:2014-05-05
學位類別:碩士
校院名稱:明新科技大學
系所名稱:精密機電工程研究所
學門:工程學門
學類:機械工程學類
論文種類:學術論文
論文出版年:2014
畢業學年度:102
語文別:中文
論文頁數:94
中文關鍵詞:樂譜辨識音符辨識垂直特徵連續特徵
外文關鍵詞:Staff recognitionNote recognitionVertical characteristicContinuous characteristic
相關次數:
  • 被引用被引用:1
  • 點閱點閱:432
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:4
  • 收藏至我的研究室書目清單書目收藏:0
隨著科技的進步,近年十分熱絡的機器人應用與研究邁向多元化的發展,特別是娛樂型機器人的領域,娛樂型機器人演奏樂器時,在演奏前,通常必須先將樂譜資訊輸入於樂器演奏機器人中,希望讓機器人進行閱讀一般所使用的琴譜,並且可以在不同場合即時地表演所閱讀的內容,機器人必須有樂譜辨識功能,目前影像樂譜辨識技術,無法應付在不同場合及燈光效果影響的環境下直接看譜取得樂譜資訊,讓機器人即時彈奏樂器。因此,發展一套即時樂譜影像辨識的技術,以讓機器人即時進行樂器演奏的表演,有其必要性。
本研究採用CM -140GE攝影機進行樂譜影像擷取,實驗影像解析度為1380x 1040,傳輸介面為Gigabit網路線,攝影機與樂譜距離約85公分,所發展的樂譜辨識技術,將可利用攝影機擷取樂譜影像,進行水平校正、樂譜區域搜尋、譜線與音符分析,擷取樂譜資訊,樂理校正與機器人樂器彈奏碼格式輸出,以利後續作業。本研究系統架構可分為五個模組,分別為二值化模組、樂譜區域分割模組、音符區域分割模組、音符辨識模組及彈奏碼格式輸出模組。首先,二值化模組將擷取灰階影像在應付不同場合進行二值化將影像處理為最佳,接著樂譜區域分割模組找出影像中樂譜區域,然後利用五線譜進行區域搜尋與水平校正,接著音符區域分割模組將每個音符定位及分析種類,然後音符辨識模組於音符定位後進行音符辨識,主要辨識理論是利用音符有無垂直特徵音符的方式來發展,方法為先找出五線譜區域所有連續特徵位置,依連續特徵位置尺寸定出音符辨識區域,分析出音符內容,接著將辨識結果導入樂理進行校正,最後彈奏碼格式輸出模組將樂譜辨識結果轉娛樂機器人的樂器彈奏碼格式,完成樂譜辨識,提供樂譜資訊給機器人進行即時演奏。
本研究透過不同樂譜來進行辨識測試,辨識時間為4秒,整體辨識率為94%以上。

In recent years, service robots are widely used in difference fields. Entertainment has become an important issue for robot applications. Automatic recognition of music score must immediately offer the music information to the entertainment robot for playing music instruments in real time mode. This study proposes an approach to extract the music information from camera-captured music score. The system uses a monochrome progressive scan camera to capture the image of a printed music score. The resolution of the gigabit Ethernet interface camera is 1380 by 1040 pixels. The distance between the sheet music and the camera is about 85 cm. The proposed method consists of five main modules: the Binarization module, the segmentation module, the note segmentation module, the note recognition module, and the output module. The Binarization module will grayscale images cope with different occasions Binarization image processing is the best. The segmentation module employs the connected component labeling algorithm and the projection method to determine the stave's region. The note segmentation module use stave's and bass stave by identifying the position of the horizontal staff lines, then locate and analyze the types of each note. The note recognition module recognizes the stem and its related note head, scale, tail or beam by examining the vertical projection profile. The output module presents the recognition results in form music score.
The recognition time is less than 4 seconds and the accuracyated note head, 94%.

摘 要 i
Abstract ii
誌 謝 iii
目 錄 iv
表目錄 vi
圖目錄 vii
第一章 緒論 1
1.1 研究目的與動機 1
1.2 相關研究 2
1.2.1 五線譜譜線偵測文獻回顧 2
1.2.2 音符辨識文獻回顧 5
1.3 論文架構 8
第二章 基礎樂理 9
2.1 樂理知識 9
2.1.1 五線譜表介紹 9
2.1.2 譜號介紹 10
2.1.3 拍號介紹 11
2.1.4 音符介紹 12
第三章 硬體設備與樂譜辨識流程 16
3.1 硬體設備 16
3.1.1 個人電腦 16
3.1.2 JAI CM-140 GE攝影機 16
3.1.3樂譜辨識硬體架構 17
3.2 樂譜辨識系統流程 17
第四章 樂譜辨識技術設計流程與方法 19
4.1二值化 20
4.2樂譜區域分割 28
4.3音符區域分割 33
4.3.1水平校正 33
4.3.2調號與拍號辨識 36
4.3.3樂譜調號分析 39
4.3.4樂譜拍號分析 45
4.3.5音符定位切割 51
4.4 音符辨識 59
4.4.1音符及休止符類型判斷 61
4.4.2休止符判斷 62
4.4.3符衍判斷 65
4.4.4符桿判斷 67
4.4.5符頭及符尾判斷 69
4.4.6符頭填滿 74
4.4.7升、降記號判斷 75
4.4.8音階判斷 76
4.5 聲部判斷 77
4.6 樂理校正 79
4.6.1 樂理校正法則 80
4.6.2 拍子縮減 81
4.6.3 拍子增加 82
4.6.4 拍子修正 83
4.7 結果輸出 85
第五章 實驗結果與討論 88
5.1 樂譜辨識實驗環境 88
5.2 樂譜辨識實驗結果 90
5.3 辨識結果分析與討論 91
第六章 結論與未來展望 92
6.1 結論 92
6.2 未來展望 92
參考文獻 93

[1]D. Prurslin, Automatic Recognition of Sheet Music, Sc.D. dissertation, Massachusetts Institute of Technology, Cambridge, Massachusetts, USA, June 1966.
[2]D. Blostein and H. S. Baird, “A Critical Survey of Music Image Analysis,” in Structured Document Image Analysis, Springer-Verlag, 1992.
[3]E. Sicard,“An efficient method for the recognition of printed music,”74Proceedings of the 11th IAPR, pp. 573-6, 1992.
[4]F. Rossant, “A global method for music symbol recognition in typeset music sheets,” Pattern Recognition Letters, 23(10), pp. 1129-41, 2002
[5]張智鈞,五線譜之即時辨識與演奏,碩士論文,國立台北科技大學電機工程系碩士班,2009。
[6]K. T. Reed and J. R. Parker, “Automatic computer recognition of printed music,”Proceedings of the ICPR, pp. 803-7, 1996.
[7]K. Wijaya and D. Bainbridge, “STAFF LINE RESTORATION,” Image Processing and its Applications, Conference PublicationNO.465, pp.760 - 764 vol.2 ,1999.
[8]Jaime dos Santos Cardoso, Member,Artur Capela, Ana Rebelo, Carlos Guedes, and Joaquim Pinto da Costa, “Staff Detection with Stable Paths,” IEEE Transactions on Pattern Analysis and Machine Intelligence,pp.1134-1139,2009.
[9]蔡自偉,印刷樂譜辨識系統,碩士論文,國立中山大學資訊工程研究所,2004。
[10]R. J Randriamahefa, J. P. Cocquerez, C. Fluhr, F. Pépin, and S. Philipp, “Printed music recognition,” Proceedings of ICDAR, pp. 898-901, 1993.
[11]M. Szwoch, “Guido: a Musical Score Recognition System,” Proceedings of the 9th International Conference on Document Analysis and Recognition, Parana, 2007, pp. 809 – 813.
[12]H. Miyao and Y. Nakano, “Head and stem extraction from printed music scores using a neural network approach,” Proceedings of the 3th ICDAR, pp. 1074-9,1995.
[13]廖威凱,基於類神經網路及樂理知識限制之印刷樂譜辨識系統,碩士論文,國立交通大學電機與控制工程學系,2007。
[14]Mu-Chun Su ,Chee-Yuen Tew, Hsin-Hua Chen,, “ Musical Sym bo1 Recognition using SOM-based Fuzzy Systems,” IFSA World Congress and 20th NAFIPS International Conference, pp.2150 - 2153 vol.4,2001.
[15]N. P.Carter, R. A. Bacon, “Automatic Recognition of Printed Music,” In H. S. Baird, H. Bunke, and K. Yamamoto, editor, Structured Document Image Analysis. Springer-Verlag, Heidelberg, 1991.
[16]Y. C. Chung, "Recognition of Printed Sheet Music Using Hough Transform And Morphology Operations," Master thesis, National Taiwan Normal University, Taiwan, 1995.
[17]石桁真禮生,樂理理論與實習,六板,全音樂譜出版社有限公司,民96年。
[18]Outline of the Standard MIDI File. Structurehttp://253.ccarh.org/handout/smf/#header_chunk
[19]“The MIDI File Format,”http://www.csie.ntu.edu.tw/~r92092/ref/midi/.
[20]陳家敏,MIDI解碼合成器於系統晶片平台之實現,碩士論文,國立成功大學電腦與通信工程研究所,2007。
[21]賴明杰,印刷樂譜自動辨識之研究與實現,碩士論文,明新科技大學,2011。

QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔