臺灣博碩士論文加值系統

車牌辨識對於治安維護以及車輛管理、追蹤有著相當的必要性，隨著科技蓬勃發展，高畫質的監視器非常普及。本研究的目的是希望藉由這些路口的監視器，發展出一套車牌定位、車牌辨識與車牌追蹤的系統，我們以多個路口固定式攝影機的方式拍攝行駛中車輛，利用各個路口拍攝的影片，追蹤出特定車輛，計算車速，預估車輛到達每一個路口的時間，在預估的時間進行車輛比對與車輛追蹤，規劃出行徑路線，進而追蹤犯人動向。經由大量的實驗測試本研究方法，得知，白天車牌定位準確度達99%，夜間車牌定位準確度接近98%，車牌字符辨識率87%，車輛特徵比對無失誤。

The recognition of license plates in the field of traffic management is necessary for managing the overall cars number and tracking the cars regarding public security. As the development of technology flourished, cameras with high quality resolution becomes common among society. The goal of this research is to use the monitors on the crossroad to build a system that can locate, recognize, and track the car licenses. We used the fixed camera to record the videos of the driving cars and calculated the velocity of the car to estimate the time each car reaching the next crossroad, then make the car pairing and car tracking according to the estimated time. We can then predict the route of this car and track the moving direction of the criminals. By large amount of the testing data from the research method we concluded that the accuracy of the car locating is at least 99% during the day and 98% during the night, the accuracy of the license recognition is 87%, and the car pairing is totally correct.

口試委員會審定書 i
誌謝 ii
摘要 iii
ABSTRACT iv
論文目錄 v
圖目錄 viii
表目錄 xii
第一章、 諸論 1
1.1 研究動機與目的 1
1.2 車輛相關研究 3
1.2.1 車牌定位 3
1.2.2 字元分割 4
1.2.3 字元辨識 4
1.3 卷積神經網絡(convolutional neural networks , CNN) 5
1.3.1 局部感受域(local receptive field) 5
1.3.2 權值共享(Shared weights and biases) 7
1.3.3 池化(pooling) 8
1.4 SURF特徵 10
1.4.1 積分影像 10
1.4.2 快速Hessian 特徵檢測 11
1.4.3 尺度空間生成 13
1.4.4 興趣點定位 14
1.4.5 決定主方向 15
1.4.6 SURF特徵向量建立 16
1.5 論文架構 18
第二章、 系統架構 19
2.1 裝備設置 19
2.2 攝影機規格 20
2.3 讀取影像 20
2.4 系統流程 22
第三章、 日夜判斷、背景建立及前景分割 23
3.1 日夜判斷 23
3.2 背景建立、前景偵測 26
3.2.1 背景相減 26
3.2.2 單一高斯模型(Single Gaussian Model)的背景建立 29
3.3 前景分割 32
3.3.1 影像形態學 32
3.3.2 連通體分析 33
3.3.3 加速前景分割 34
第四章、 車牌定位、字符辨識與車輛追蹤 37
4.1 車牌定位 37
4.1.1 白色偵測 38
4.1.2 還原車牌區域 40
4.1.3 二值化門檻設定 41
4.1.4 決定車牌候選區域 42
4.2 字符辨識 48
4.3 車牌追蹤 52
4.4 車輛測速 56
4.5 車輛SURF特徵比對 62
4.5.1 建立SURF特徵向量 62
4.5.2 特徵點匹配 63
4.6 車輛追蹤 66
第五章、 實驗結果與討論 74
5.1 車輛偵測結果 74
5.2 車牌定位結果 76
5.3 字符辨識結果 80
5.4 特徵比對結果 83
5.5 車輛追蹤結果 84
5.6 實驗結果 87
第六章、 結論與未來展望 90
參考文獻 92

圖目錄
圖1. 1 CNN網路架構 5
圖1. 2 input與local receptive field 6
圖1. 3 local receptive field滑動示意圖 7
圖1. 4特徵映射 7
圖1. 5 池化說明，以Max-pooling為例 9
圖1. 6積分影像值的計算 10
圖1. 7利用積分影像計算原影像中矩形區域內像素值總和 11
圖1. 8高斯二階差分運算子， 13
圖1. 9尺度空間示意圖， 14
圖1. 10 3*3*3非最大抑制 15
圖1. 11 Harr小波濾波器 16
圖1. 12 主方向搜尋 16
圖1. 13 SURF特徵向量建立 17
圖2. 1鏡頭拍攝範圍 19
圖2. 2攝影機架攝實況 20
圖2. 3影片去交錯式 21
圖2. 4系統流程 22
圖3. 1白天與夜晚影像亮度Value(V)之統計結果 24
圖3. 2(a)(b)為是白天V平均值低於門檻0.25之情況，(c)(d)為是夜晚V平均值高於門檻0.25之情況 25
圖3. 3背景相減 27
圖3. 4 不同 值背景模型值 31
圖3. 5前景偵測結果 32
圖3. 6前景偵測結果 32
圖3. 7斷開與閉合運算 33
圖3. 8連通標記法示意圖 34
圖3. 9連通體圈選 34
圖3. 10縮小後前景分割 35
圖3. 11夜晚前景切割(3倍標準差) 36
圖3. 12夜晚前景切割(1倍標準差) 36
圖4. 1車牌定位流程圖 37
圖4. 2亮度與車牌r、g、b平均統計圖 39
圖4. 3亮度與r、g、b相減值統計圖 39
圖4. 4白色偵測結果 40
圖4. 5夜間白色偵測 40
圖4. 6對白色偵測做閉運算 41
圖4. 7 Otsu二值化與average二值化 41
圖4. 8 average二值化流程 42
圖4. 9影像二值化 42
圖4. 10 車牌定位流程圖 44
圖4. 11車牌面積統計圖 45
圖4. 12 sobel邊緣偵測法定為車牌 46
圖4. 13不同尺寸車輛車牌定位 48
圖4. 14改進後的LeNet架構 48
圖4. 15學習率 50
圖4. 16準確度收斂 51
圖4. 17車牌碰到1號線 52
圖4. 18車牌碰到2號線 53
圖4. 19下幀車牌ROI區域 54
圖4. 20一台車輛的車牌追蹤影像序列 55
圖4. 21待測速車輛 57
圖4. 22測速準備工作 57
圖4. 23使用陰影測速 59
圖4. 24使用車牌測速 59
圖4. 25機車車速測量 61
圖4. 26將圖4. 25不同時間之車牌位置畫再一起 61
圖4. 27 SURF特徵擷取流程圖 62
圖4. 28 SURF特徵點 63
圖4. 29 SURF特徵匹配 65
圖4. 30在位置A發現追蹤車輛 66
圖4. 31輸入車牌號碼 67
圖4. 32路口A系統流程 68
圖4. 33 到達B區的三種狀況 70
圖4. 34(a)跳過的影像不會有前景偵測(b)開始計算會有前景偵測 70
圖4. 35 車牌ROI與前景SURF匹配成功 71
圖4. 36計算平均車速與車輛到下一路口所花費幀數 71
圖4. 37將上述步驟畫出來 73
圖4. 38把偵測到的路口做連線 73
圖5. 1偵測影像是車輛 75
圖5. 2未偵測到的影像沒有車輛 76
圖5. 3偵測的影像非車輛 76
圖5. 4車牌定位正確 77
圖5. 5車牌定位錯誤(非車牌) 77
圖5. 6車牌定位錯誤(範圍太大) 77
圖5. 7車牌定位錯誤(車牌不完整) 78
圖5. 8車牌定位錯誤(未框選到車牌) 79
圖5. 9車牌定位太大，造成辨識錯誤 80
圖5. 10車牌辨識成功案例 82
圖5. 11使用車牌做SURF比對 83
圖5. 12使用車牌ROI做SURF比對 84
圖5. 13案例一.大雨天 86
圖5. 14案例二.白天晴天 86
圖5. 15車牌定位第一幀與第n幀差異 88
圖5. 16多車道辨識 89
圖5. 17靜態多車牌辨識 89
圖6. 1訓練分類 91
表目錄
表2. 1攝影機規格 20
表3. 1背景相減偵測時作流程 28
表4. 1車牌統計 38
表4. 2連通法求車牌與邊緣偵測法找車牌之比較 47
表4. 3數字0~9的訓練樣本 49
表4. 4字母A~Z不含O、I的訓練樣本 50
表4. 5經過幀數與車速對照表 60
表5. 1 實驗環境之系統平台 74
表5. 2辨識錯誤列表 80
表5. 3辨識錯誤例子 81
表5. 4案例一.大雨天 85
表5. 5案例二.白天晴天 85
表5. 6辨識結果 87
表5. 7辨識速度 87

[1]中華民國內政部統計處, http://www.moi.gov.tw/stat/
[2]中華民國內政部警政署, https://www.npa.gov.tw/
[3]中華智慧運輸協會, http://www.its-taiwan.org.tw.
[4]Ashourian, M., et al. "Real time implementation of a license plate location recognition system based on adaptive morphology." International Journal of Engineering-Transactions B: Applications 26.11 (2013): 1347-1356.
[5]Xu, Hongke, et al. "Detection of vehicle beating trajectories using color license plate location." Control and Decision Conference (CCDC), 2010 Chinese. IEEE, 2010.
[6]Wang, Yuh-Rau, Wei-Hung Lin, and Shi-Jinn Horng. "A sliding window technique for efficient license plate localization based on discrete wavelet transform." Expert Systems with Applications 38.4 (2011): 3142-3146.
[7]Caner, Hakan, H. Selcuk Gecim, and Ali Ziya Alkar. "Efficient embedded neural-network-based license plate recognition system." IEEE Transactions on Vehicular Technology 57.5 (2008): 2675-2683.
[8]Dlagnekov, Louka. "License plate detection using adaboost." Computer Science and Engineering Department, San Diego (2004).
[9]Anagnostopoulos, Christos-Nikolaos E., et al. "License plate recognition from still images and video sequences: A survey." IEEE Transactions on intelligent transportation systems 9.3 (2008): 377-391.
[10]Anagnostopoulos, Christos Nikolaos E., et al. "A license plate-recognition algorithm for intelligent transportation system applications." IEEE Transactions on Intelligent transportation systems 7.3 (2006): 377-392.
[11]Li, Hui, and Chunhua Shen. "Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs." arXiv preprint arXiv:1601.05610 (2016).
[12]Rahman, Choudhury A., Wael Badawy, and Ahmad Radmanesh. "A real time vehicle''s license plate recognition system." Advanced Video and Signal Based Surveillance, 2003. Proceedings. IEEE Conference on. IEEE, 2003.
[13]Kim, Kwang-Baek, Si-Woong Jang, and Cheol-Ki Kim. "Recognition of car license plate by using dynamical thresholding method and enhanced neural networks." International Conference on Computer Analysis of Images and Patterns. Springer Berlin Heidelberg, 2003.
[14]Tindall, D. W. "Application of neural network techniques to automatic licence plate recognition." Security and Detection, 1995., European Convention on. IET, 1995.
[15]Raus, Michael, and Lothar Kreft. "Reading car license plates by the use of artificial neural networks." Circuits and Systems, 1995., Proceedings., Proceedings of the 38th Midwest Symposium on. Vol. 1. IEEE, 1995.
[16]Parisi, R., et al. "Car plate recognition by neural networks and image processing." Circuits and Systems, 1998. ISCAS''98. Proceedings of the 1998 IEEE International Symposium on. Vol. 3. IEEE, 1998.
[17]Huang, Yo-Ping, Shi-Yong Lai, and Wei-Po Chuang. "A template-based model for license plate recognition." Networking, Sensing and Control, 2004 IEEE International Conference on. Vol. 2. IEEE, 2004.
[18]Ciregan, Dan, Ueli Meier, and Jürgen Schmidhuber. "Multi-column deep neural networks for image classification." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
[19]Ciresan, Dan Claudiu, et al. "Convolutional neural network committees for handwritten character classification." Document Analysis and Recognition (ICDAR), 2011 International Conference on. IEEE, 2011.
[20]Ranzato, Marc''Aurelio, et al. "Efficient learning of sparse representations with an energy-based model." Proceedings of the 19th International Conference on Neural Information Processing Systems. MIT Press, 2006.
[21]Dailey, Daniel J., Fritz W. Cathey, and Suree Pumrin. "An algorithm to estimate mean traffic speed using uncalibrated cameras." IEEE Transactions on Intelligent Transportation Systems 1.2 (2000): 98-107.
[22]Fathy, Mahmood, and Mohammed Yakoob Siyal. "An image detection technique based on morphological edge detection and background differencing for real-time traffic analysis." Pattern Recognition Letters 16.12 (1995): 1321-1330.
[23]McKenna, Stephen J., et al. "Tracking groups of people." Computer Vision and Image Understanding 80.1 (2000): 42-56.
[24]陳韋成,"工地安全監控系統,"國立台灣大學工程科學及海洋工程學系碩士論文,2015.
[25]Otsu, Nobuyuki. "A threshold selection method from gray-level histograms." IEEE Transactions on systems, man, and cybernetics 9.1 (1979): 62-66.
[26]Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features." Computer vision–ECCV 2006 (2006): 404-417.
[27]Viola, Paul, and Michael Jones. "Rapid object detection using a boosted cascade of simple features." Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. Vol. 1. IEEE, 2001.
[28]Muja, Marius, and David G. Lowe. "Fast matching of binary features." Computer and Robot Vision (CRV), 2012 Ninth Conference on. IEEE, 2012.
[29]Mikolajczyk, Krystian, and Cordelia Schmid. "A performance evaluation of local descriptors." IEEE transactions on pattern analysis and machine intelligence 27.10 (2005): 1615-1630.
[30]Neural Networks and Deep Learning , http://neuralnetworksanddeeplearning.com/