臺灣博碩士論文加值系統

中文摘要 i
Abstract ii
目錄 iii
圖目錄 v
表目錄 vi
一、 緒論 1
1.1 高維度相互信息估算 1
1.2 信息瓶頸理論的相變、臨界值及其應用 1
二、 理論基礎 2
2.1 Kullback-Leibler divergence(KL divergence)、信息熵Shannon entropy、相互資訊Mutual information 2
2.1.1 Kullback-Leibler divergence(KL divergence) 2
2.1.2 信息熵Shannon entropy 2
2.1.3 相互信息 Mutual information 3
2.1.4 多元常態分布相互信息解析解 4
2.2 神經網路相互信息估算法 6
2.2.1 KSG 相互信息估算法 6
2.2.2 相互信息神經網路估算法 Mutual Information Neural Estimation(MINE) 10
2.3 分類的統計力學描述法 11
2.3.1 分類的統計力學描述法出現的相變 13
2.4 信息瓶頸理論(Information Bottleneck) 15
2.4.1 信息瓶頸迭代算法 18
2.4.2 信息瓶頸理論退火算法(Annealing Algorithm) 23
2.5 信息瓶頸出現的相變 24
2.6 信息瓶頸相變點解析解 30
2.7 信息瓶頸理論與分類的統計力學描述法的比較及關連性 36
三、 相互信息估算及信息瓶頸數值實驗 39
3.1 多元常態分布的相互信息估算 39
3.2 信息瓶頸理論的實驗結果 41
3.2.1 中間層選項數與輸入層數量相同的模型 41
3.2.2 增加T層選項數量的影響 45
3.2.3 不同中間層選項數的演化過程 49
3.2.4 高選項數模型 54
3.2.5 XY分布為一對一對應時的收斂狀況 56
四、 結論及未來工作 58
五、 參考文獻 60

1. A. Kraskov, H. Stögbauer, and P. Grassberger, 2004, "Estimating Mutual Information", Physical Review E(RPE), E 69, 066138
2. M. I. Belghazi, A. Baratin, and S. Rajeswar, 2018, "Mutual Information Neural Estimation", arXiv: 1801.04062v4
3. S. Park, P. M. Pradalos, 2021," Deep Data Density Estimation through Donsker-Varadhan Representation", arXiv: 1801.04062v4
4. K. Rose, E. Gurewitz, G. C. Fox, 1990, " Statistical Mechanics and Phase Transitions in Clustering ", Physical Review Latter(PRL), vol. 65, 945
5. N. Tishby, F. C. Pereira, and W. Bialek, 2000, "The information bottleneck method" Proceedings of the 37th Annual Allerton Conference on Communication, Control and Computing, p.368-377, arXiv preprint physics/0004057
6. N. Zaslavsky, N. Tishby, 2019, " Deterministic annealing and the evolution of Information Bottleneck representations ", https://www.nogsky.com/publication/2019-evo-ib/
7. S. Gao, G. V. Steeg, A. Galstyan, "Efficient Estimation of Mutual Information for Strongly Dependent Variables", arXiv: 1411.2003
8. S. Park, P. M. Pardalos, "Deep Data Density Estimation through Donsker-Varadhan Representation", arXiv: 2104.06612
9. G. Chechik, A. Golberson, N. Tishby, and Y. Weiss, "Information Bottleneck for Gaussian Variables" Journal of Machine Learning Reasearch, vol. 6, pp. 165-188, 2005