(3.237.97.64) 您好!臺灣時間:2021/03/03 04:54
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:陳立耀
研究生(外文):CHEN, LI-YAO
論文名稱:以深度學習進行銅箔表面瑕疵分類系統的整合與開發
論文名稱(外文):System Integration and Development of Copper Foil Surface Defect Classification System with Deep Learning
指導教授:吳先晃
指導教授(外文):WU, HSIEN-HUANG
口試委員:吳先晃何前程林武杰
口試委員(外文):WU, HSIEN-HUANGHO, CHIAN-CHENGLIN, WU-CHIEH
口試日期:2020-07-23
學位類別:碩士
校院名稱:國立雲林科技大學
系所名稱:電機工程系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2020
畢業學年度:108
語文別:中文
論文頁數:91
中文關鍵詞:銅箔檢測AOI深度學習瑕疵分類
外文關鍵詞:Copper foil inspectionAOIdeep learningdefect classification
相關次數:
  • 被引用被引用:0
  • 點閱點閱:47
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:1
銅箔是製作印刷電路板(Printed circuit board, PCB)的重要的材料,是一種陰質性電解材料,沉澱在電路板基底層上的一層薄薄的金屬箔。作為PCB的導電體,具備非常容易黏合在絕緣層上的特性,經過腐蝕後形成電路圖樣。在電子信息產業被視為電子產品信號與電力傳輸、溝通的神經網路。在許多產業中,自動化光學檢測(Automated Optical Inspection, AOI)的技術已經越來越普及,而在工廠的自動化產線,AOI設備檢測更是不可或缺。許多原本靠人力檢測的工作,已逐步被自動化設備取代,以達到避免人工疲勞而產生的錯誤,以及快速準確檢測的效果。
AOI在傳統的處理方法上,需要花費工程師大量的時間來開發演算法以及定義特徵。傳統的方式對於樣品的特徵很敏感,假如換了另一批樣品或是另一種製程,就必須重新定義新的特徵以及演算法。如果能以深度學習的方法代替傳統方法,將能省去這些大量被浪費的人力與時間。因此,本研究將銅箔作為研究對象,使用了深度學習的方法,利用卷積神經網路(Convolutional Neural Network, CNN)作為檢測後的分類系統。並且,設計了一套完善的使用者介面(User Interface, UI)來即時監控生產品質與顯示檢測到的瑕疵,使檢測的資訊能夠一目瞭然。最後,將兩邊系統整合,把人機介面的機台與瑕疵檢測的機台透過通訊協定來交流,達到系統整合之效果。
Copper foil is an important material for making printed circuit boards (PCB). It is a negative electrolytic material. A thin layer of metal foil deposited on the base layer of the circuit board is used as a conductor of the PCB. The characteristics that are easy to adhere to the insulating layer form a circuit pattern after corrosion. In the electronic information industry, it is regarded as a neural network for electronic product signal and power transmission and communication. In many industries, Automated Optical Inspection (AOI) technology has become increasingly popular. In the factory's automated production line, AOI equipment testing is indispensable. Many works that originally relied on manual testing have been gradually replaced by automated equipment to avoid errors caused by artificial fatigue and rapid and accurate testing.
AOI requires a lot of time for engineers to develop algorithms and define features in traditional processing methods. The traditional method is very sensitive to the characteristics of the samples. If another batch of samples or another process is changed, new characteristics and algorithms must be redefined. If you can replace the traditional methods with deep learning methods, you will save a lot of wasted manpower and time. Therefore, this study takes copper foil as the research object and uses the deep learning method. Use Convolutional Neural Network (CNN) as the classification system after detection. In addition, a complete user interface (UI) is designed to monitor production quality and display detected defects in real time, so that the detected information can be seen at a glance. Finally, the two systems are integrated, and the man-machine interface machine and the defect detection machine are communicated through the communication protocol to achieve the effect of system integration.
目錄
摘要 i
ABSTRACT ii
誌謝 iii
目錄 iv
表目錄 viii
圖目錄 x
第1章 緒論 1
1.1 研究背景 1
1.2 研究動機與目的 3
1.3 文獻探討 3
1.4 論文架構 4
第2章 基本理論介紹 6
2.1 影像處理 6
2.1.1 標準差 6
2.1.2 參考比對法 6
2.1.3 二值化 6
2.2 類神經網路(Neural Network) 7
2.2.1 權重與偏差(Weight and Bias) 8
2.2.2 激勵函數(Activation Function) 8
2.2.3 成本函數(Cost Function) 9
2.2.4 優化器(Optimizer) 9
2.3 卷積神經網路(Convolutional Neural Network) 10
2.3.1 卷積層(Convolutional Layer) 10
2.3.2 池化層(Pooling Layer) 11
2.3.3 平坦層(Flatten Layer) 11
2.3.4 全連接層(Fully Connecter Layer) 12
2.4 JSON 12
第3章 系統硬體架構 14
3.1 銅箔檢測與分類系統硬體介紹 14
3.1.1 電腦介紹 14
3.1.2 線掃描相機介紹 15
3.1.3 鏡頭介紹 17
3.1.4 影像擷取卡介紹 17
3.1.5 旋轉編碼器介紹 18
3.2 使用者介面系統硬體介紹 19
3.3 網路交換器介紹 20
第4章 系統軟體架構 22
4.1 系統整合架構介紹 22
4.2 銅箔瑕疵檢測系統軟體架構 23
4.3 銅箔瑕疵檢測影像處理 24
4.4 銅箔瑕疵分類 24
4.4.1 銅箔瑕疵分類系統架構 25
4.4.2 訓練階段 27
4.4.3 測試階段 28
4.4.4 銅箔瑕疵類型介紹 29
4.5 通訊系統架構 30
4.6 使用者介面系統軟體架構 30
4.7 PostgreSQL資料庫 30
4.8 檢測流程介紹 31
第5章 實驗結果 32
5.1 銅箔檢測系統開發環境 32
5.2 銅箔瑕疵分類開發環境 33
5.3 銅箔瑕疵分類 33
5.3.1 M面瑕疵分類結果 33
5.3.2 S面瑕疵分類結果 35
5.4 通訊模組 37
5.5 使用者介面介紹 39
5.5.1 使用者介面系統開發環境 39
5.5.2 主畫面介紹 40
5.5.3 材料設定畫面 47
5.5.4 新增製程畫面 48
5.5.5 修改密碼畫面 49
5.5.6 AI model新增畫面 50
5.5.7 分類設定畫面 51
5.5.8 新增瑕疵與圖示畫面 52
5.5.9 軟體參數設定畫面 53
5.5.10 硬體參數設定畫面 55
5.5.11 工作站設定畫面 55
5.6 相機校正使用者介面介紹 57
5.6.1 相機校正使用者介面系統開發環境 57
5.6.2 相機校正使用者介面 57
5.7 資料庫規劃 59
5.7.1 操作員管理資料表 60
5.7.2 支號管理資料表 60
5.7.3 產品名稱管理資料表 60
5.7.4 製程管理資料表 61
5.7.5 檢測訊息管理資料表 61
5.7.6 生產線管理資料表 61
5.7.7 相機參數設定資料表 62
5.7.8 相機參數設定log資料表 62
5.7.9 瑕疵分類表 63
5.7.10 訓練模型資料表 64
5.7.11 訓練模型分類對應資料表 64
5.7.12 檢測單號管理資料表 65
5.7.13 瑕疵影像紀錄表 66
5.7.14 瑕疵檢測即時訊息紀錄表 67
5.8 查詢站系統 67
5.8.1 登入畫面 67
5.8.2 生產線定義 68
5.8.3 產品一覽 68
5.8.4 瑕疵詳表 69
5.8.5 瑕疵簡表 69
5.8.6 訊息列表 70
5.8.7 瑕疵統計 71
5.8.8 百米瑕疵統計 71
5.8.9 十米瑕疵統計 72
5.8.10 X-Y瑕疵分佈圖 72
第6章 結論與未來展望 74
6.1 結論 74
6.2 未來展望 74
參考文獻 75



表目錄
表 3 1 Teledyne e2v ELiiXA+ Color 8K/4K詳細規格表 16
表 3 2 Nikon AF Nikkor 35mm f/2D詳細規格表 17
表 3 3 Matrox Radient eV-CL DF詳細規格表 18
表 3 4 HTR-MWB-1-A-005-2-LV詳細規格表 19
表 3 5 ZYXEL GS1100-16詳細規格表 21
表 5 1 銅箔瑕疵檢測系統硬體規格表 32
表 5 2 銅箔瑕疵檢測系統軟體規格表 32
表 5 3 銅箔瑕疵分類系統硬體規格表 33
表 5 4 銅箔瑕疵分類系統軟體規格表 33
表 5 5 M面訓練參數表 34
表 5 6 M面訓練樣本數表 34
表 5 7 M面訓練結果表 34
表 5 8 M面測試結果表 35
表 5 9 S面訓練參數表 35
表 5 10 S面訓練樣本數表 36
表 5 11 S面訓練結果表 36
表 5 12 S面測試結果表 36
表 5 13 使用者介面系統硬體規格表 39
表 5 14 使用者介面系統軟體規格表 39
表 5 15 相機校正使用者介面系統硬體規格表 57
表 5 16 相機校正使用者介面系統軟體規格表 57
表 5 17 操作員管理資料表 60
表 5 18 支號管理資料表 60
表 5 19 產品名稱管理資料表 60
表 5 20 製程管理資料表 61
表 5 21 檢測訊息管理資料表 61
表 5 22 生產線管理資料表 62
表 5 23 相機參數設定資料表 62
表 5 24 相機參數設定log資料表 62
表 5 25 瑕疵分類表 63
表 5 26 訓練模型資料表 64
表 5 27 訓練模型分類對應資料表 64
表 5 28 檢測單號管理資料表 65
表 5 29 瑕疵影像紀錄表 66
表 5 30 瑕疵檢測即時訊息紀錄表 67


圖目錄
圖 1 1 印刷電路板(摘自WIKI) 1
圖 1 2 上中下游產業(摘自金居開發股份有限公司網站) 1
圖 1 3 銅箔基板示意圖(摘自台燿科技股份有限公司網站) 2
圖 1 4 銅箔基板產業規模趨勢分析(摘自材料世界網) 2
圖 2 1 類神經網路示意圖 7
圖 2 2 常見的激勵函數示意圖 8
圖 2 3 卷積神經網路 10
圖 2 4 卷積運算示意圖 11
圖 2 5 最大池化示意圖 11
圖 2 6 平坦層示意圖 12
圖 2 7 JSON格式示意圖 13
圖 3 1 硬體架構示意圖 14
圖 3 2 1U機架式工業伺服器示意圖(摘自AIC營邦企業網站) 15
圖 3 3 1U架設於機櫃實體圖 15
圖 3 4 線掃描相機ELiiXA+ Color 8K/4K(摘自Teledyne e2v網站) 16
圖 3 5 sensor排列示意圖(摘自Teledyne e2v網站) 16
圖 3 6 Nikon AF Nikkor 35mm f/2D(摘自DCFever網站) 17
圖 3 7 Matrox Radient eV-CL DF(摘自Matrox網站) 18
圖 3 8 HTR-MWB-1-A-005-2-LV(摘自鴻璿股份有限公司網站) 19
圖 3 9 4U機架式工業伺服器示意圖(摘自勤誠興業股份有限公司網站) 20
圖 3 10 4U架設於機櫃實體圖 20
圖 3 11 ZYXEL GS1100-16(摘自合勤科技網站) 21
圖 4 1 機構示意圖 22
圖 4 2系統整合架構示意圖 23
圖 4 3 檢測系統軟體區塊圖 23
圖 4 4 影像處理流程圖 24
圖 4 5 訓練階段 (a)主程序流程圖 (b)卷積神經網路演算法流程圖 26
圖 4 6 卷積神經網路測試流程圖 27
圖 4 7 卷積神經網路架構圖 28
圖 4 8 銅箔M面瑕疵示意圖 (a)銅粒 (b)白長短線 (c)白點拖尾 (d)白點黑尾 (e)黑長短線 (f)黑點 (g)折皺 29
圖 4 9 銅箔S面瑕疵示意圖 (a)研磨 (b)墊傷 (c)白拖尾 (d)白斑點 (e)黑斑點 29
圖 4 10 銅箔針孔瑕疵示意圖 30
圖 4 11 檢測流程圖 31
圖 5 1 相機軟體參數格式 37
圖 5 2 相機軟體參數 38
圖 5 3 相機硬體參數格式 38
圖 5 4 分類器通訊格式 38
圖 5 5 工作站通訊格式 39
圖 5 6 使用者介面主畫面 40
圖 5 7 主畫面之Menu選單 40
圖 5 8 主畫面之連線狀態 41
圖 5 9 主畫面之相機即時狀態 41
圖 5 10 主畫面之即時訊息 42
圖 5 11 主畫面之各工作站暫存資訊 42
圖 5 12 主畫面之調色盤功能 42
圖 5 13 主畫面之檢測資訊 43
圖 5 14 主畫面之產品資訊與操作 44
圖 5 15 主畫面之瑕疵分佈圖與資訊 46
圖 5 16 主畫面之瑕疵圖與詳細資訊 46
圖 5 17 主畫面之瑕疵顯示選擇 47
圖 5 18 材料設定畫面 48
圖 5 19 新增製程畫面 48
圖 5 20 輸入密碼 49
圖 5 21 密碼錯誤 49
圖 5 22 修改密碼 49
圖 5 23 再次輸入密碼 50
圖 5 24更新密碼失敗 50
圖 5 25 AI model 新增畫面 50
圖 5 26 model類別選擇畫面 51
圖 5 27 分類設定畫面 52
圖 5 28 新增瑕疵與圖示畫面 52
圖 5 29 軟體參數設定畫面 53
圖 5 30 工作站資訊畫面 54
圖 5 31 分類模型資訊畫面 54
圖 5 32 硬體參數設定畫面 55
圖 5 33 工作站設定畫面 56
圖 5 34 工作站指令 56
圖 5 35 相機校正使用者介面 57
圖 5 36 相機校正使用者介面之Menu選單 58
圖 5 37 相機校正使用者介面之檢測顯示部分 58
圖 5 38 相機校正使用者介面之校正顯示部分 59
圖 5 39 相機校正使用者介面之當前工作站編號 59
圖 5 40 查詢站登入畫面 67
圖 5 41 查詢站生產線定義 68
圖 5 42 查詢站產品一覽 68
圖 5 43 查詢站瑕疵詳表 69
圖 5 44 查詢站瑕疵簡表 70
圖 5 45 查詢站訊息列表 70
圖 5 46 查詢站瑕疵統計 71
圖 5 47 查詢站百米瑕疵統計 71
圖 5 48 查詢站十米統計圖 72
圖 5 49 查詢站X-Y瑕疵分佈圖 73
[1]林一星. (2019) 全球銅箔基板市場發展趨勢. 工業材料雜誌. Available: https://www.materialsnet.com.tw/DocView.aspx?id=41352
[2]黃振珂, "基於卷積神經網路之輪胎氣泡缺陷檢測," 碩士, 資訊工程系, 國立雲林科技大學, 雲林縣, 2017.
[3]L. M. Azizah, S. F. Umayah, S. Riyadi, C. Damarjati, and N. A. Utama, "Deep learning implementation using convolutional neural network in mangosteen surface defect detection," in 2017 7th IEEE International Conference on Control System, Computing and Engineering (ICCSCE), 2017, pp. 242-246.
[4]Y. Sun and H. Long, "Detection of Weft Knitting Fabric Defects Based on Windowed Texture Information And Threshold Segmentation by CNN," in 2009 International Conference on Digital Image Processing, 2009, pp. 292-296.
[5]A. Khumaidi, E. M. Yuniarno, and M. H. Purnomo, "Welding defect classification based on convolution neural network (CNN) and Gaussian kernel," in 2017 International Seminar on Intelligent Technology and Its Applications (ISITIA), 2017, pp. 261-265.
[6]X. Zhang, K. Wang, Y. Wang, Y. Shen, and H. Hu, "An improved method of rail health monitoring based on CNN and multiple acoustic emission events," in 2017 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 2017, pp. 1-6.
[7]L. Shang, Q. Yang, J. Wang, S. Li, and W. Lei, "Detection of rail surface defects based on CNN image recognition and classification," in 2018 20th International Conference on Advanced Communication Technology (ICACT), 2018, pp. 45-51.
[8]Y. Santur, M. Karaköse, and E. Akin, "A new rail inspection method based on deep learning using laser cameras," in 2017 International Artificial Intelligence and Data Processing Symposium (IDAP), 2017, pp. 1-6.
[9]J. Zhong, Z. Liu, Z. Han, Y. Han, and W. Zhang, "A CNN-Based Defect Inspection Method for Catenary Split Pins in High-Speed Railway," IEEE Transactions on Instrumentation and Measurement, vol. 68, no. 8, pp. 2849-2860, 2019.
[10]曹瑋宸, "基於深度學習之性別辨識與人員計數," 碩士, 資訊工程系, 國立雲林科技大學, 雲林縣, 2016.
[11]G. Tello, O. Y. Al-Jarrah, P. D. Yoo, Y. Al-Hammadi, S. Muhaidat, and U. Lee, "Deep-Structured Machine Learning Model for the Recognition of Mixed-Defect Patterns in Semiconductor Fabrication Processes," IEEE Transactions on Semiconductor Manufacturing, vol. 31, no. 2, pp. 315-322, 2018.
[12]J. Kim, S. Kim, N. Kwon, H. Kang, Y. Kim, and C. Lee, "Deep learning based automatic defect classification in through-silicon Via process: FA: Factory automation," in 2018 29th Annual SEMI Advanced Semiconductor Manufacturing Conference (ASMC), 2018, pp. 35-39.
[13]L. Wang and Y. Shen, "Design of Machine Vision Applications in Detection of Defects in High-Speed Bar Copper," in 2010 International Conference on E-Product E-Service and E-Entertainment, 2010, pp. 1-4.
[14]T.-S. Li, "Applying wavelets transform and support vector machine for copper clad laminate defects classification," Computers & Industrial Engineering, vol. 56, no. 3, pp. 1154-1168, 2009/04/01/ 2009.
[15]G. A. Al-Kindi, R. M. Baul, and K. F. Gill, "An application of machine vision in the automated inspection of engineering surfaces," International Journal of Production Research, vol. 30, no. 2, pp. 241-253, 1992/02/01 1992.
[16]郭振鵬, "以系統單晶片架構做印刷電路板銅箔缺陷檢測系統之設計," 碩士, 電機工程學系碩博士班, 國立成功大學, 台南市, 2004.
[17]S. Kumar, Y. Iwahori, and M. K. Bhuyan, "PCB Defect Classification Using Logical Combination of Segmented Copper and Non-copper Part," in Proceedings of International Conference on Computer Vision and Image Processing, Singapore, 2017, pp. 523-532: Springer Singapore.
[18]F. Gao, Z. Li, G. Xiao, X. Yuan, and Z. Han, "An online inspection system of surface defects for copper strip based on computer vision," in 2012 5th International Congress on Image and Signal Processing, 2012, pp. 1200-1204.
[19]R. Liang, Y. Ding, X. Zhang, and J. Chen, "Copper Strip Surface Defects Inspection Based on SVM-RBF," in 2008 Fourth International Conference on Natural Computation, 2008, vol. 2, pp. 41-45.
[20]Z. Xuewu, L. Ruiyu, D. Yanqiong, C. Jiasheng, D. Dunqin, and Z. Guohua, "The system of copper strips surface defects inspection based on intelligent fusion," in 2008 IEEE International Conference on Automation and Logistics, 2008, pp. 476-480.
[21]P. Wang, X. Zhang, Y. Mu, and Z. Wang, "The Copper Surface Defects Inspection System Based on Computer Vision," in 2008 Fourth International Conference on Natural Computation, 2008, vol. 3, pp. 535-539.
[22]R. B. Caldo, "An Intelligent PCB Visual Inspection System for Defect Detection and Localization in Excel VBA Macro," in Advanced Computer and Communication Engineering Technology, Cham, 2016, pp. 595-607: Springer International Publishing.
電子全文 電子全文(網際網路公開日期:20250630)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔