(3.231.29.122) 您好!臺灣時間:2021/02/25 22:37
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:王愷薇
研究生(外文):Wang, Kai-Wei
論文名稱:以BNN與AlexNet為基礎適用於CIFAR10圖形辨識之積體電路架構設計
論文名稱(外文):A BNN and AlexNet Based VLSI Architecture for CIFAR10 Pattern Recognition Dataset
指導教授:黃文吉黃文吉引用關係
指導教授(外文):Hwang, Wen-Jyi
學位類別:碩士
校院名稱:國立臺灣師範大學
系所名稱:資訊工程學系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2017
畢業學年度:106
語文別:中文
論文頁數:59
中文關鍵詞:機器學習深度學習類神經網路摺積類神經網路二元化類神經網路系統晶片設計
外文關鍵詞:Machine LearningDeep LearningCNNBNNAlexNetCIFAR10FPGAAI on Chip
相關次數:
  • 被引用被引用:0
  • 點閱點閱:598
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:91
  • 收藏至我的研究室書目清單書目收藏:0
本論文以FPGA實作AlexNet摺積類神經網路模型之硬體電路架構,並以CIFAR10全彩圖像資料庫作為圖像辨識數據,設計適用於該資料庫的圖形辨識電路架構,傳統的摺積類神經網路以浮點數形式存取運算所用到的相關參數,同時運算方式較為複雜,這種模式不僅會增加記憶體的存取資源消耗,也會造成運算的負擔。本論文將二元化類神經網路技術結合至電路設計中,其最主要的核心概念是將權重及運算結果透過二元化相關演算法簡化為二進制表示法,並使用XNOR做位元運算,此作法不僅能降低FPGA資源消耗,同時也能提升運算效率。
本論文選用AlexNet作為設計電路之模型,AlexNet對於全彩圖像的辨識結果優於LeNet5,而AlexNet相較於其他結構複雜的摺積類神經網路模型更適合實作於硬體電路,雖然AlexNet所使用的參數較多,以原始32bit 浮點數存取權重確實在硬體上難以實現,但利用二元化類神經網路便可將權重簡化至1bit二進位碼,而運算子則不需要使用到浮點數的加法器與乘法器,這不單是降低內建記憶體及暫存器資源使用,更提升存取記憶體的效能。
依據實驗結果,本論文所提出之硬體架構相較於近期相關研究有低面積資源消耗之優點,且辨識精確度不亞於其他研究架構,對於現今人工智慧晶片發展領域,本論文所提出之硬體架構著實具有競爭價值。
中文摘要 i
致謝 ii
目錄 iii
附表目錄 iv
附圖目錄 v

第一章 緒論 1
 第一節 研究背景與動機 1
 第二節 研究目的與方法 4
 第三節 全文架構  6

第二章 基礎理論及技術背景 7
 第一節 類神經網路介紹 7
 第二節 CONVOLUTIONAL NEURAL NETWORK 10
 第三節 CONVOLUTIONAL NEURAL NETWORK演算法則 11
 第四節 ALEXNET MODEL 14
 第五節 BINARY NEURAL NETWORK 16

第三章 系統架構 19
 第一節 研究流程 19
 第二節 電路架構 20
 第一項 C1電路架構 22
 第二項 C2電路架構 28
 第三項 S2電路架構 32
 第四項 Fully connected電路架構 38

第四章 實驗數據與效能分析 44
 第一節 開發平台與實驗環境 44
 第二節 實驗結果與效能分析 48

第五章 結論 58

參考文獻 59
[1] The CIFAR-10 dataset, Available online: https://www.cs.toronto.edu/~kriz/cifar.html
[2] M. Courbariaux, I. Hubara, D.l Soudry, R. El-Yaniv, Y. Bengio,Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, arXiv:1602.02830, 2016.
[3] A. Krizhevsky, I. Sutskever, G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, In Proc. NIPS, pp. 1097-1105, 2012.
[4] S. Ioffe, C.Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Advances in International Conference on Machine Learning, 2015.
[5] 王雅慶,以FPGA實現摺積神經網路及應用於人臉特徵辨識之研究,國立台灣師範大學碩士論文, 2016.
[6] 紀凱文,摺積神經網路全連結層FPGA實現之研究,國立台灣師範大學碩士論文, 2016.
[7] 黃暐傑,以FPGA實現二元化類神經網路及應用於手寫圖片辨識之研究,國立台灣師範大學碩士論文, 2017.
[8] kuangliu, Train CIFAR10 with PyTorch, Available online: https://github.com/kuangliu/pytorch-cifar
[9] Y. Umuroglu, N. J. Fraser, G. Gambardella, M. Blott, P. Leong, M. Jahre, K. Vissers, FINN: A Framework for Fast, Scalable Binarized Neural Network Inference, arXiv:1612.07119, ‎2016.
[10] R. Zhao, W. Song, W. Zhang, T. Xing, J. Lin, M. Srivastava, R. Gupta, and Z. Zhang, Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs, Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, pp. 15-24, 2017.
[11] Y. Zhou; S. Redkar; X. Huang, Deep Learning Binary Neural Network on an FPGA, 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), pp. 281 - 284, 2017.
[12] J.H. Lin, T.Xing, R. Zhao, Z. Zhang, M. Srivastava, Z. Tu, R. K. Gupta, Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration, 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 344 - 352, 2017.
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔