跳到主要內容

臺灣博碩士論文加值系統

(44.213.60.33) 您好!臺灣時間:2024/07/21 12:31
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

我願授權國圖
: 
twitterline
研究生:葉庭佑
研究生(外文):YE,TING-YOU
論文名稱:應用強化學習技術於脆盤射出製程品質優化與參數推薦之實務研究
論文名稱(外文):Practical Research on Quality Optimization and Parameter Recommendation of TRAY Injection Process Using Reinforcement Learning Technology
指導教授:王建智王建智引用關係
指導教授(外文):WANG, CHIEN-CHIH
口試委員:王建智陳琨太葉神丑
口試委員(外文):WANG, CHIEN-CHIHCHEN, KUEN-TAIYEH, SHEN-CHOU
口試日期:2022-07-15
學位類別:碩士
校院名稱:明志科技大學
系所名稱:工業工程與管理系碩士班
學門:工程學門
學類:工業工程學類
論文種類:學術論文
論文出版年:2022
畢業學年度:110
語文別:中文
論文頁數:73
中文關鍵詞:智慧製造控制圖半導體承載盤製程參數優化強化學習
外文關鍵詞:Smart ManufacturingControl ChartsIC TrayProcess Parameter OptimizationReinforcement Learning
相關次數:
  • 被引用被引用:0
  • 點閱點閱:96
  • 評分評分:
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
2020年COVID-19疫情大流行,為全球半導體相關行業帶來了許多挑戰。同一時間發生震驚全世界的烏俄戰爭,造成全世界製造業在原物料及能源供應的巨大影響。因此,有效利用原材料並減少生產過程中產生的不良品,成為供應鏈廠商的關鍵策略。本研究以半導體承載盤射出製程為研究場域,由於個案廠商現階段,無法監測重量趨勢變化而即時發現重量品質異常。而是在三天後才進行重量檢測,當重量品質出現異常時,由老師傅的經驗進行異常製程參數,造成品質成本損失。本次研究透過收集機台關鍵因子進行分析,以重量為關鍵品質並採用CUSUM管制圖來監控是否異常,當異常時則經由所建立的強化學習參數優化模型,來給予現場人員製程參數的建議調整值。方法的驗證上,本研究透過生產模擬模型,來預測製程優化前後參數的重量數值,然後透過比較優化前、後的製程重量平均值及變異程度。結果經統計檢定發現,優化後整體重量較優化前重量有顯著改變。優化後製程重量整體平均值有回復至目標規格界限內且整體製程變異程度也較優化前降低50%
In 2020, the COVID-19 pandemic brought many challenges to the global semiconductor industry. At the same time, a world-shaking war between Russia and Ukraine affected the availability of raw materials and energy for manufacturing industries worldwide. Thus, reducing defective products in the production process and maximizing raw material utilization are critical strategies for supply chain manufacturers. This study utilized an integrated circuit tray injection process as the research field. Due to the current stage of the case, the manufacturer could not immediately monitor the weight trend change and detect the weight quality anomaly. When the weight quality is abnormal, the experienced worker determines the abnormal process parameters, resulting in quality cost losses. In this study, the critical factors of the machine are collected and analyzed, and the weight is the essential quality, while the CUSUM control chart is used to monitor abnormalities. Based on the production simulation model, the weight values of the parameters before and after process optimization were predicted, and the average weight values before and after optimization were then compared with the degree of variation. A statistical analysis of the results revealed that the overall weight after optimization differed significantly from the weight before optimization. Compared with the pre-optimized process, the overall average weight of the optimized process has returned to within the target specification. Moreover, the overall process variation has been reduced by 50%
目錄
指導教授推薦書 i
口試委員會審定書 ii
謝誌 iii
摘要 iv
Abstract v
目錄 vi
圖目錄 viii
表目錄 x
第一章緒論 1
1.1研究背景 1
1.2研究動機 3
1.3研究目的 5
1.4研究架構 7
第二章文獻探討 8
2.1 IC Tray盤 8
2.2射出成型理論暨相關研究 14
2.3射出成型製程參數優化相關技術 17
2.3.1傳統實驗設計與專家系統方法 18
2.3.2人工智慧演算法 18
2.4.3整合傳統與人工智慧演算 法 19
2.4強化學習簡介 21
2.4.1馬可夫決策過程 23
2.4.2強化學習相關研究 25
第三章研究方法 29
3.1問題描述問題描述 29
3.2研究方法架構研究方法架構 30
3.3數據蒐集與資料前處理數據蒐集與資料前處理 32
3.4品質預測環境模型品質預測環境模型 33
3.5管制圖管制圖 37
3.6強化學習參數優化模型建立強化學習參數優化模型建 38
第四章 分析與結果分析與結果 43
4.1案例資料說明案例資料說明 43
4.2資料處理過程資料處理過程 44
4.3品質預測環境模型品質預測環境模型 48
4.4品質監控管制圖品質監控管制圖 51
4.5強化學習參數優化模型實證測試強化學習參數優化模型實證測試 53
4.5.1強化學習參數優化模型運作流程強化學習參數優化模型運作流程 54
4.5.2強化學習參數優化實驗強化學習參數優化實驗 57
第五章 結論與建議結論與建議 64
5.1結論結論 64
5.2後續研究建議後續研究建議 66
參考文獻 68
英文文獻 68
其他文獻 72

圖目錄
圖1-1:我國半導體產業產值 1
圖1-2:IC Tray盤生產製造流程圖 4
圖1-3:研究架構圖 7
圖2-1:射出成型動作流程圖 14
圖2-2:強化學習概念圖 21
圖2-3:基於馬可夫決策過程強化學習方法圖 25
圖3-1:研究流程架構圖 31
圖3-2:射出機台與量測設備示意圖 32
圖3-3:射出機台參數與重量資料蒐集流程圖 32
圖3-4:H2O-AutoML運作流程圖 34
圖3-5:強化學習概念圖 39
圖3-6:射出製程強化學習架構圖 40
圖3-7:演員-評論家算法概念圖 42
圖4-1:機台運行生產過程參數前處理一 45
圖4-2:機台運行生產過程參數前處理二 45
圖4-3:重量Outlier值移除前後比較圖 48
圖4-4 :品質監控X-R管制測試圖 51
圖4-5:品質監控CUSUM管制測試圖 52
圖4-6:強化學習參數優化模型驗證流程圖 53
圖4-7:強化學習參數優化流程圖 54
圖4-8:參數設定程式碼示意圖 55
圖4-9:強化學習參數優化模型獎勵趨勢圖 56
圖4-10:強化學習參數建議參數調整值示意圖 56
圖4-11:七個重量箱型圖 59
圖4-12:重量一與重量二箱型圖 60
圖4-13:重量三與重量六箱型圖 62
圖4-14:重量三與重量六趨勢圖 62
圖5-1:As-Is與To-Be圖 65
圖5-2:流程架構圖 67

表目錄
表2-1:IC TRAY盤示意圖 9
表2-2:射出製程管制品質指標的關鍵製程參數 17
表4-1:機台運行生產過程參數示意圖 44
表4-2:射出製程原始資料集示意圖 44
表4-3:製造管理系統原始資料 44
表4-4:合併後資料集節錄 46
表4-5:品質預測模型建模資料節錄 47
表4-6:H2O-AutoML模型排行榜 50
表4-7:最佳模型訓練與驗證績效表 50
表4-8:品質監控與參數優化測試資料集 52
表4-9:射出機參數優化實驗總表 57
表4-10:製程參數建議調整組合 57
表4-11:射出機參數優化重量總表 61
表4-12:異常筆數檢定分析表 63

英文文獻

1. Arel, I., Liu, C., Urbanik, T., & Kohls, A. G. (2010). Reinforcement learning-based multi-agent system for network traffic signal control. IET Intelligent Transport Systems, 4(2), 128-135.
2. Dynkin, E. B. (1965). Markov processes. In Markov processes (pp. 77-104). Springer, Berlin, Heidelberg.
3. Gijsbers, P., LeDell, E., Thomas, J., Poirier, S., Bischl, B., & Vanschoren, J. (2019). An open source AutoML benchmark. arXiv preprint arXiv:1907.00909.
4. Guo, F., Zhou, X., Liu, J., Zhang, Y., Li, D., & Zhou, H. (2019). A reinforcement learning decision model for online process parameters optimization from offline data in injection molding. Applied Soft Computing, 85, 105828.
5. Huang, M. S., & Nian, S. C. (2020). Robust parameter search for IC tray injection molding using regrind resin. Journal of Polymer Engineering, 40(10), 876-885.
6. He, Z., Tran, K. P., Thomassey, S., Zeng, X., Xu, J., & Yi, C. (2021). A deep reinforcement learning based multi-criteria decision support system for optimizing textile chemical process. Computers in Industry, 125, 103373.
7. Jun, J. H., Chang, T. W., & Jun, S. (2020). Quality prediction and yield improvement in process manufacturing based on data analytics. Processes, 8(9), 1068.
8. Ke, K. C., & Huang, M. S. (2021). Quality classification of injection-molded components by using quality indices, grading, and machine learning. Polymers, 13(3), 353.
9. Karaoglan, A. D., & Baydeniz, B. (2021). Optimizing Plastic Injection Process Using Whale Optimization Algorithm in Automotive Lighting Parts Manufacturing. Journal of Scientific and Industrial Research (JSIR), 80(04), 360-368.
10. Konda, V. R., & Tsitsiklis, J. N. (2000). Actor-critic algorithms. In Advances in Neural Information Processing Systems (pp. 1008-1014).
11. Kumar, S., Park, H. S., & Lee, C. M. (2020). Data-driven smart control of injection molding process. CIRP Journal of Manufacturing Science and Technology, 31, 439-449.
12. Khader, N., & Yoon, S. W. (2021). Adaptive optimal control of stencil printing process using reinforcement learning. Robotics and Computer-Integrated Manufacturing, 71, 102132.
13. LeDell, E., & Poirier, S. (2020, July). H2o automl: Scalable automatic machine learning. In Proceedings of the AutoML Workshop at ICML (Vol. 2020).
14. Lockner, Y., & Hopmann, C. (2021). Induced network-based transfer learning in injection molding for process modelling and optimization with artificial neural networks. The International Journal of Advanced Manufacturing Technology, 112(11), 3501-3513.
15. Lee, C., Na, J., Park, K., Yu, H., Kim, J., Choi, K., ... & Lee, S. (2020). Development of Artificial Neural Network System to Recommend Process Conditions of Injection Molding for Various Geometries. Advanced Intelligent Systems, 2(10), 2000037.
16. Lee, S., Cho, Y., & Lee, Y. H. (2020). Injection mold production sustainable scheduling using deep reinforcement learning. Sustainability, 12(20), 8718.
17. Liu, C., Ding, J., & Sun, J. (2020). Reinforcement learning based decision making of operational indices in process industry under changing environment. IEEE Transactions on Industrial Informatics, 17(4), 2727-2736.
18. Nian, S. C., Fang, Y. C., & Huang, M. S. (2019). In-mold and machine sensing and feature extraction for optimized IC-tray manufacturing. Polymers, 11(8), 1348.
19. Nian, R., Liu, J., & Huang, B. (2020). A review on reinforcement learning: Introduction and applications in industrial process control. Computers & Chemical Engineering, 139, 106886.
20. Obregon, J., Hong, J., & Jung, J. Y. (2021). Rule-based explanations based on ensemble machine learning for detecting sink mark defects in the injection moulding process. Journal of Manufacturing Systems, 60, 392-405.
21. Page, E. S. (1961). Cumulative sum charts. Technometrics, 3(1), 1-9.
22. Sutton, R. S., & Barto, A. G. (1998). Introduction to reinforcement learning (Vol. 135). Cambridge: MIT press.
23. Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT press.
24. Song, Z., Liu, S., Wang, X., & Hu, Z. (2020). Optimization and prediction of volume shrinkage and warpage of injection-molded thin-walled parts based on neural network. The International Journal of Advanced Manufacturing Technology, 109(3), 755-769.
25. Truong, A., Walters, A., Goodsitt, J., Hines, K., Bruss, C. B., & Farivar, R. (2019, November). Towards automated machine learning: Evaluation and comparison of AutoML approaches and tools. In 2019 IEEE 31st international conference on tools with artificial intelligence (ICTAI) (pp. 1471-1479). IEEE.
26. Wang, C. C., Chien, C. H., & Trappey, A. J. (2021). On the Application of ARIMA and LSTM to Predict Order Demand Based on Short Lead Time and On-Time Delivery Requirements. Processes, 9(7), 1157.
27. Zhao, P., Dong, Z., Zhang, J., Zhang, Y., Cao, M., Zhu, Z., ... & Fu, J. (2020). Optimization of injection-molding process parameters for weight control: converting optimization problem to classification problem. Advances in Polymer Technology, 2020.
28. Zhou, Z., Li, X., & Zare, R. N. (2017). Optimizing chemical reactions with deep reinforcement learning. ACS central science, 3(12), 1337-1344.
29. Zheng, G., Zhang, F., Zheng, Z., Xiang, Y., Yuan, N. J., Xie, X., & Li, Z. (2018, April). DRN: A deep reinforcement learning framework for news recommendation. In Proceedings of the 2018 World Wide Web Conference (pp. 167-176).
30. Zhao, Z., Wang, S., Wang, Z., Wang, S., Ma, C., & Yang, B. (2020). Surface roughness stabilization method based on digital twin-driven machining parameters self-adaption adjustment: a case study in five-axis machining. Journal of Intelligent Manufacturing, 1-10.

中文文獻

1. 2021 KPMG全球半導體產業大調查(2021)。取自:
https://home.kpmg/tw/zh/home/insights/2021/03/tw-semiconductor-industry-outlook-2021.html
2. 范哲豪、劉美君、楊啟鑫、彭茂榮、江柏風、黃慧修。2021年第二季我國半導體產業回顧與展望(2021)。取自: ITIS產業季報
3. 范哲豪、劉美君、楊啟鑫、彭茂榮、江柏風、黃慧修。2020年第四季及全年我國半導體產業回顧與展望(2021)。取自:ITIS產業季報
4. 半導體封測 2022 年產能續吃緊,觀察通膨和晶圓供貨(2021)。取自:
TechNews科技新報https://technews.tw/2021/12/13/semiconductor-packaging-and-testing-tight-2022/
5. 李昆憲 (2006)。限制理論應用與IC TRAY銷售策略之研究。國立交通大學管理學院碩士在職專班工業工程與管理組碩士論文,新竹市。
6. 盧兆祥 (2012)。IC TRAY翹曲品質改善之探討。中原大學機械工程研究所碩士論文,桃園縣。
7. 黃淑珍 (2018)。IC封裝廠脆盤物料四種存貨模式之研究-以K公司為例。中華大學工業管理學系碩士論文,新竹市。
8. 黃峻韋 (2020)。探討臺灣半導體封裝測試業包裝材料供應商評選準則之研究 - 以PXXX公司為例。中國科技大學企業管理系碩士論文,台北市。
9. 楊景程 (2001)。射出成型機最佳參數之預測。國立臺灣科技大學纖維及高分子工程系碩士論文,台北市。
10. 賴桂香 (2007)。應用管制圖於塑膠射出製程之研究。大葉大學工業工程與科技管理學系碩士論文,彰化縣。
11. 吳勝煌 (2007)。結合田口方法與PCA技術於塑膠射出成型製程最佳化之研究。大葉大學工業工程與科技管理學系碩士論文,彰化縣。
12. 陳夏宗、李海梅、周文祥、陳清祺 (2014)。射出成型原理與製程。五南圖書出版股份有限公司。
13. 郭憲、方勇純 (2018)。最新人工智慧應用:用強化學習快速上手AI。佳魁數位股份有限公司。
14. 徐世輝 (2007)。品質管理。前程文化。
15. 鄒慶士 (2019)。大數據分析與應用實戰:統計機器學習之資料導向程式設計。東華書局。
16. 林鴻欽、吳復強 (2001),品質管理。台灣培生教育出版股份有限公司。
17. Sudharsan Ravichandiran(2019)。用Python實作強化學習:使用TensorFlow與OpenAI Gym。 碁峰資訊股份有限公司。
18. 洪晨銘 (2019)。應用人工智慧方法與田口方法優化製程參數-以射出成型機為例。中原大學工業與系統工程研究所碩士論文,桃園縣。
19. 蔡明宏 (2019)。射出成型過程之線上品質控制系統開發。國立成功大學機械工程學系碩士論文,台南市。
20. 陳國榕等人 (2018)。強化學習應用於深孔機加工參數優化。智慧機械專題
21. 羅士銓 (2020)。應用離散事件模擬於強化學習之探討。國立清華大學工業工程與工程管理學系碩士論文,新竹市。


電子全文 電子全文(網際網路公開日期:20270803)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊