跳到主要內容

臺灣博碩士論文加值系統

(44.192.48.196) 您好!臺灣時間:2024/06/16 10:48
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

我願授權國圖
: 
twitterline
研究生:蕭炳為
研究生(外文):Bing Wei Xiao
論文名稱:二元化殘差神經網路圖像辨識晶片設計
論文名稱(外文):Binary Residual Neural Network Image Recognition Chip
指導教授:吳志峰
指導教授(外文):C. F. Wu
口試委員:陳元賀 陳思文 吳志峰
口試委員(外文):Y. H. Chen S. W. Chen C. F. Wu
口試日期:2022-10-24
學位類別:碩士
校院名稱:長庚大學
系所名稱:電子工程學系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2022
畢業學年度:111
語文別:中文
論文頁數:71
中文關鍵詞:CIFAR-10人工智慧深度學習捲積神經網路圖像辨識二元化神經網路
外文關鍵詞:CIFAR-10Artificial IntelligenceDeep LearningConvolutional Neural NetworkImage RecognitionBinary Neural Network
相關次數:
  • 被引用被引用:0
  • 點閱點閱:71
  • 評分評分:
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
目錄
中文摘要 i
英文摘要 ii
目錄 iii
圖目錄 v
表目錄 vii
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 1
1.3 文獻回顧 3
1.4 論文架構 5
第二章 研究背景與基本原理 7
2.1 CIFAR數據集 7
2.2 人工智慧 8
i. 捲積神經網路 10
ii.池化層 11
iii. 激活函數 14
iv. 全連接層 17
2.3 二元化神經網路 19
i. BNN與CNN 19
ii. Batch Normalization 21
2.4 殘差神經網路 24
i. 學習率的退化 24
ii. 殘差學習 26
iii. 調用函數 28
第三章 電路架構與設計 30
3.1 研究流程 30
3.2 訓練資料集 30
3.3 神經網路架構設計 32
i. 神經網路架構 32
ii. 模型大小考量 35
3.4 硬體實現考量 36
3.5 電路架構設計 40
第四章 晶片規格與結果 49
4.1 前言 49
4.2 電路設計流程 50
4.3晶片layout與晶片規格表 51
4.4 論文比較 53
第五章 結論與未來展望 55
5.1 結論 55
5.2 未來展望 55
第六章 參考資料 56


圖目錄
圖 1、CIFAR-10類別 7
圖 2、CIFAR-100科別及類別 8
圖 3、捲積運算示意圖 11
圖 4、最大池化運算示意圖 12
圖 5、平均池化運算示意圖 13
圖 6、Sigmoid與Tanh示意圖 15
圖 7、ReLU示意圖 16
圖 8、全連接層示意圖 17
圖 9、FC與GAP比較之FC 18
圖 10、FC與GAP比較之GAP 19
圖 11、過度學習示意圖 22
圖 12、Dropout示意圖 23
圖 13、學習率退化示意圖 25
圖 14、殘差學習示意圖 26
圖 15、加入殘差學習後比較圖 27
圖 16、Add與Concatenate比較圖之Concatenate 29
圖 17、Add與Concatenate比較圖之Add 28
圖 18、殘差神經網路架構與資料流示意圖 33
圖 19、改良平均池化層示意圖 34
圖 20、輸入訊號精度分析圖 38
圖 21、電路狀態控制示意圖 40
圖 22、子電路模塊關係圖 40
圖 23、Convolution電路圖 41
圖 24、Convolution電路圖路徑之一 42
圖 25、Convolution電路圖路徑之二 42
圖 26、Shift ReLU電路圖 43
圖 27、Average Pooling電路圖 44
圖 28、Average Pooling電路圖路經之一 45
圖 29、Average Pooling電路圖路徑之二 45
圖 30、Add與Lambda-32電路圖 46
圖 31、Global Average Pooling電路圖 47
圖 32、Softmax電路圖 48
圖 33、電路設計流程 50
圖 34、晶片layout圖 52


表目錄
表 1、CNN與BNN之比較 3
表 2、CIFAR-10資料組成表 31
表 3、研究比較表 35
表 4、縮放值調整前後表 37
表 5、全模型運算精度分析結果表 39
表 6、準確率前後對照表 39
表 7、晶片規格表 51
表 8、論文比較表 53

[1] Song Han, Jeff Pool, and John Tran et al., “Learning both weights and connections for efficient neural network” NeurIPS, 2015 .
[2] Song Han, Huizi Mao, and William J. Dally, “Deep compression: compressing deep neural net- works with pruning, trained quantization and Huffman coding” ICLR, 2016.
[3] Yihui He, Xiangyu Zhang, and Jian Sun, “Channel pruning for accelerating very deep neural networks” IEEE ICCV, 2017 .
[4] Yunchao Gong, Liu Liu, and Ming Yang et al., “Compressing deep convolutional networks using vector quantization” CoRR abs/1412.6115 (2014).
[5] Jiaxiang Wu, Cong Leng, and Yuhang Wang et al., “Quantized convolutional neural networks for mobile devices” IEEE CVPR, 2016 .
[6] Qinghao Hu, Gang Li, and Peisong Wang et al., “Training binary weight networks via semi-binary decomposition” in: ECCV, 2018 .
[7] Emily Denton, Wojciech Zaremba , and Yann LeCun et al., “Exploiting linear structure within convolutional networks for efficient evaluation” arXiv:1404.0736 [cs.CV] 2 Apr. 2014.
[8] Vadim Lebedev, Yaroslav Ganin, and Maksim Rakhuba et al., “Speeding-up convolutional neural networks using fine-tuned cp-decomposition” arXiv:1412.6553 [cs.CV] 24 Apr. 2015.
[9] Max Jaderberg, Andrea Vedaldi, and Andrew Zisserman, “Speeding up convolutional neural networks with low rank expansions” arXiv:1405.3866 [cs.CV] 15 May 2014.
[10] Zheng Xu , Yen-Chang Hsu , and Jiawei Huang, “Training shallow and thin networks for acceleration via knowledge distillation with conditional adversarial networks” ICLR, 2018.
[11] Haisong Ding, Kai Chen, and Qiang Huo, “Compressing CNN-DBLSTM models for OCR with teacher-student learning and tucker decomposition” Pattern Recognit. 96 (2019) .
[12] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean, “Distilling the knowledge in a neural network” CoRR abs/1503.02531 (2015).
[13] Matthieu Courbariaux, Yoshua Bengio, and Jean-Pierre David, “BinaryConnect: Training Deep Neural Networks with binary weights during propagations,” arXiv:1511.00363v3 [cs.LG] 18 Apr. 2016.


[14] Mohammad Rastegari, Vicente Ordonez, and Joseph Redmon et al., “XNOR-Net: Imagenet classification using binary convolutional neural networks” arXiv:1603.05279 [cs.CV] 2 Aug. 2016.
[15] Asit Mishra, Eriko Nurvitadhi, and Jeffrey J Cook et al., “WRPN: wide reduced-precision networks” ICLR, 2018.
[16] Xiaofan Lin, Cong Zhao, and Wei Pan, “Towards accurate binary convolutional neural network” NeurIPS, 2017.
[17] Lu Hou, Quanming Yao, and James T. Kwok, “Loss-aware Binarization of Deep Networks,” arXiv:1611.01600v3 [cs.NE] 10 May 2018.
[18] Xiuyi Chen, Guangcan Liu, and Jing Shi et al., “Distilled binary neural network for monaural speech separation” IJCNN (2018).
[19] Yinghao Xu, Xin Dong, and Yudian Li et al., “A main/subsidiary network framework for simplifying binary neural networks” IEEE CVPR, 2019.
[20] Haotong Qin, Ruihao Gong, and Xianglong Liu et al., “Forward and Backward Information Retention for Accurate Binary Neural Networks,” arXiv:1909.10788v4 [cs.CV] 9 Mar. 2020.


[21] Alex Krizhevsky, “Learning multiple layers of features from tiny images” Master’s thesis, Department of Computer Science, University of Toronto, 2009.
[22] Xavier Glorot, Antoine Bordes, and Yoshua Bengio, “Deep sparse rectifier neural networks” In Proc. 14th International Conference on Artificial Intelligence and Statistics 315–323 (2011).
[23] Min Lin, Qiang Chen, Shuicheng Yan et al., “Network In Network” arXiv:1312.4400v3 [cs.NE] 4 Mar. 2014.
[24] Haotong Qin , Ruihao Gong, and Xianglong Liu, “Binary neural networks: A survey,” Pattern Recognition Vol. 105, Sep. 2020, 107281.
[25] Sergey Ioffe and Christian Szegedy, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift” arXiv:1502.03167 [cs.LG] 2 Mar. 2015.
[26] Kaiming He, Xiangyu Zhang, and Shaoqing Ren, et al., “Deep Residual Learning for Image Recognition”, arXiv:1512.03385v1 [cs.CV] 10 Dec. 2015.
[27] Karen Simonyan and Andrew Zisserman, “Very Deep Convolutional Networks For Large-Scale Image Recognition” arXiv:1409.1556 [cs.CV] 10 Apr. 2015.
[28] Mark D. McDonnell, “Training Wide Residual Network” arXiv:1802.08530 [cs.LG] 23 Feb. 2018.
[29] Cong Shi, Jie Yang, and Ye Han, et al., “A 1000 fps Vision Chip Based on a Dynamically Reconfigurable Hybrid Architecture Comprising a PE Array Processor and Self-Organizing Map Neural Network” IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 49, NO. 9, SEPTEMBER 2014 2067.
[30] Hiroki Nakahara, Tomoya Fujii, and Shimpei Sato, “A Fully Connected Layer Elimination for a Binarized Convolutional Neural Network on an FPGA” 27th International Conference on Field Programmable Logic and Applications, Sep. 2017.
[31] Ritchie Zhao, Weinan Song, and Wentao Zhang, et al., “Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs,” Int’l Symp. on Field Programmable Gate Arrays (FPGA) Feb. 2017.
電子全文 電子全文(網際網路公開日期:20271107)
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊