(3.236.214.19) 您好!臺灣時間:2021/05/09 22:55
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:羅文和
研究生(外文):Wun-He Luo
論文名稱:權重衰退學習與明確正規化學習於幅狀基底函數網路之容錯訓練
論文名稱(外文):Equivalence between Weight Decay Learning and Explicit Regularization to Improve Fault Tolerance of RBF
指導教授:沈培輝黃永發黃永發引用關係
指導教授(外文):John SumYung-Fa Huang
學位類別:碩士
校院名稱:朝陽科技大學
系所名稱:網路與通訊研究所
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2008
畢業學年度:96
語文別:中文
論文頁數:59
中文關鍵詞:明確正規化學習幅狀基底函數權重衰退遞減學習容錯加乘性權重雜訊
外文關鍵詞:RBFWDLERLfault tolerantMWN
相關次數:
  • 被引用被引用:1
  • 點閱點閱:257
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:1
  • 收藏至我的研究室書目清單書目收藏:0
本論文乃探討幅狀基底函數(Radial Basis Function, RBF)網絡經由權重衰退學習(Weight Decay Learning, WDL)與明確正規化學習(Explicit Regularization Learning, ERL)訓練後對加乘性權重雜訊(Multiplicative Weight Noise, MWN)的容錯(Fault Tolerant)效果。由理論證明,在有足夠的訓練數據下,WDL與ERL對抗MWN的容錯性於一維與二維向量下,均可由實驗結果中驗證WDL與ERL具有近似的容錯能力。
This thesis studies the fault tolerant performance of a radial basis function (RBF) network being trained to against the multiplicative weight noise (MWN) using both weight decay learning (WDL) and explicit regularization learning (ERL). It is shown analytical that the fault tolerant abilities of WDL and ERL against MWN are similar if the number of training data is large and is demonstrated by simulations on 1D and 2D problems.
目錄
摘要 IV
Abstract V
誌謝 VI
目錄 VII
表目錄 IX
圖目錄 X
第一章 前言 1
1.1 研究背景 1
1.2 研究動機與目的 2
1.3 論文架構 6
第二章 系統架構與學習演算法 7
2.1 類神經網路理論 7
2.2 幅狀基底函數類神經網路 11
2.3 加乘性權重雜訊 15
2.4 權重衰退學習演算法 16
2.5 明確正規化學習演算法 19
第三章 基於一維向量於模型差異性之容錯效能 21
3.1 系統模型 21
3.2 演算法之比較 24
3.3 模擬結果與分析 27
3.3.1 未加入權重雜訊時學習速率與誤差值之關係 29
3.3.2 加入權重雜訊時學習速率與 之關係 31
3.3.3 比較權重衰退與明確正規化演算法之差異 33
第四章 基於二維向量之容錯效能 36
4.1 系統模型 36
4.2 演算法之比較 37
4.3 模擬結果與分析 43
第五章 結論 56
參考文獻 57


















表目錄
表1 實驗參數設定 44


































圖目錄
圖1.1 未知系統之輸入與輸出關係圖 3
圖1.2 模擬環境的問題分析 4
圖1.3 模擬環境示意圖 4
圖2.1 前饋式類神經網路架構 10
圖2.2 回饋式類神經網路架構 11
圖2.3 幅狀基底函數網路架構圖 12
圖2.4 利用最小均方演算法調整權重向量之流程圖 14
圖2.5 具有加乘性權重雜訊之RBF 16
圖2.6 加乘性權重的雜訊分布圖 16
圖3.1 未知系統之輸入與輸出關係圖 21
圖3.2 模擬環境的問題分析 22
圖3.3 模擬環境示意圖 22
圖3.4 幅狀基底函數類神經網路,模型ㄧ 23
圖3.5 幅狀基底函數類神經網路,模型二 23
圖3.6 輸入向量 分佈之範圍示意圖 25
圖3.7 模擬實驗的架構圖 27
圖3.8 厄米特函數 28
圖3.9 Sinc函數 28
圖3.10 未加權重雜訊之厄米特函數 29
圖3.11 未加權重雜訊之Sinc函數 29
圖3.12 未加權重雜訊之厄米特函數 30
圖3.13 未加權重雜訊之Sinc函數 30
圖3.14 比較log(Sb)和學習速率之厄米特函數 31
圖3.15 比較log(Sb)和學習速率之Sinc函數 31
圖3.16 比較log(Sb)和學習速率之厄米特函數 32
圖3.17 比較log(Sb)和學習速率之Sinc函數 32
圖3.18 WDL與ERL之容錯效能(厄米特函數) 33
圖3.19 WDL與ERL之容錯效能(Sinc函數) 34
圖3.20 WDL與ERL之容錯效能(厄米特函數) 34
圖3.21 WDL與ERL之容錯效能(Sinc函數) 35
圖4.1 二維輸入經由符號函數轉換之3D空間示意圖 36
圖4.2 與 之平均分佈範圍 38
圖4.3 雙變量之等高線投影(正圓) 42
圖4.4 雙變量之等高線投影(橢圓) 42
圖4.5 M=100,0.1之容錯效能比較 45
圖4.6 M=100,0.2之容錯效能比較 45
圖4.7 M=100,0.3 之容錯效能比較 46
圖4.8 M=100,0.4 之容錯效能比較 46
圖4.9 M=100,0.5 之容錯效能比較 47
圖4.10 M=100,0.6 之容錯效能比較 47
圖4.11 M=100,0.7之容錯效能比較 48
圖4.12 M=100,0.8之容錯效能比較 48
圖4.13 M=100,0.9之容錯效能比較 49
圖4.14 M=100,1之容錯效能比較 49
圖4.15 M=150,0.1之容錯效能比較 50
圖4.16 M=150,0.2之容錯效能比較 50
圖4.17 M=150,0.3之容錯效能比較 51
圖4.18 M=150,0.4之容錯效能比較 51
圖4.19 M=150,0.5之容錯效能比較 52
圖4.20 M=150,0.6之容錯效能比較 52
圖4.21 M=150,0.7之容錯效能比較 53
圖4.22 M=150,0.8之容錯效能比較 53
圖4.23 M=150,0.9之容錯效能比較 54
圖4.24 M=150,1之容錯效能比較 54
圖4.25 M=100,0.6與0.7之容錯效能比較 55
[1]S. Haykin, Neural networks, “A Comprehensive Foundation,” Macmillan College Publishing Company Inc., 1994.
[2]J.E. Moody, "Note on Generalization, Regularization, and Architecture Selection in Nonlinear Learning Systems,” Proceedings of First IEEE-SP Workshop on Neural Networks for Signal Processing, 1991.
[3]A.F. Murray, and P.J. Edwards, “Enhanced MLP Performance and Fault Tolerance Resulting from Synaptic Weight Noise During Training,” IEEE Transactions on Neural Networks, Vol. 5, No. 5, pp. 792-802, 1994.
[4]O. Fontenla-Romero, E. Castillo, A. Alonso-Betanzos and B. Guijarro-Berdinas, “A Measure of Fault Tolerance for Functional Networks,” Neurocomputing, Vol. 62, pp. 327-347, 2004.
[5]J. Sum, “On a Multiple Nodes Fault Tolerant Training for RBF: Objective Function, Sensitivity Analysis and Relation to Generalization,” Proceedings of TAAI''05, Taiwan, 2005.
[6]C.S. Leung and J. Sum, “A Fault Tolerant Regularizer for RBF Networks,” IEEE Transactions on Neural Networks, Vol. 19, pp. 493-507, 2008.
[7]J. Sum, C.S. Leung and K. Ho, “On Prediction Error of a Fault Tolerant Neural Network,” Neural Information Processing, Springer LNCS No. 4232, pp. 521-528, 2006.
[8]C.S. Leung and P.F. Sum, “Analysis on Bidirectional Associative Memories with Multiplicative Weight Noise,” Neural Information Processing, Springer LNCS, 2007.
[9]J. Sum, “Towards an Objective Function Based Framework for Fault Tolerant Learning,” Proceedings of TAAI''07, Taiwan, 2007.
[10]J. Sum, C.S. Leung, L.P. Hsu and Y.F. Huang, “An Objective Function for Single Node Fault RBF Learning,” Proceedings of TAAI''07, Taiwan, 2007.
[11]J.L. Bernier, J. Ortega, I. Rojas, E. Ros and A. Prieto, “Obtaining Fault Tolerant Multilayer Perceptrons using an Explicit Regularization,” Neural Processing Letters, Vol. 12, pp. 107-113, 2000.
[12]W.H. Luo, J. Sum and Y.F. Huang, “Empirical Study of a Fault Tolerant RBF,” Proceedings of TAAI''07, Taiwan, 2007.
[13]J. Sum, C.S. Leung and L.P. Hsu, “Fault Tolerant Learning using Kullback-Leibler Divergence,” Proceedings of TENCON’07, Taiwan, 2007.
[14]Kohonen, “Self-Organizing Formation of Topologically Correct Feature Maps,” Biological Cybernetics, pp. 59-69, 1982.
[15]J. B. MacQueen, “Some Methods for classification and Analysis of Multivariate Observations,” Berkeley, University of California Press, 1967.
[16]B. Widrow and M. E. Jr. Hoff, “Adaptive Switching Circuits,” IRE Western Electric Show and Convention Record, pp. 96-104, 1960.
[17]S. Chen, C. F. Cowan and P. M. Grant, “Orthogonal Least Squares Learning Algorithm for Radial Basis Function Networks,” IEEE Transactions on Neural Networks, Vol. 2, pp. 302-309, 1991.
[18]C. Bishop, “Neural Networks for Pattern Recognition,” Oxford University Press, 1995.
[19]J. Sum, C.S. Leung and K. Ho, “On Objective Function, Regularizer and Prediction Error of a Learning Algorithm for Dealing with Multiplicative Weight Noise,” accepted for publication in IEEE Transactions on Neural Networks, 2008.
電子全文 電子全文(本篇電子全文限研究生所屬學校校內系統及IP範圍內開放)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔