臺灣博碩士論文加值系統

融合多張不同曝光的畫面可呈現具高動態範圍的情境，本論文提出一個影像融合方法，藉由融合兩張連續但不同曝光的視訊畫面，提升畫面的動態範圍，使得在融合畫面中比在典型曝光畫面中更容易找尋移動物件與偵測人臉，提出的方法已實現在具強健硬體平台與軟體平台的消費型數位相機中，由實驗結果顯示影像融合的速度接近每秒四個畫面。
融合多張不同曝光倍率的影像對於在高動態範圍的情境下拍攝靜態影像是十分有用的，然而在實際相機應用面上，由於拍攝者造成相機輕微晃動或是情境中被拍攝者輕微移動皆會使得情境改變，此種情境改變必須進行補償。本論文提出一個完整的影像融合系統，藉由融合三張不同曝光的影像，以達到延展影像動態範圍的目標。不像大部分影像融合演算法均針對被處理過的影像進行融合，且嘗試去還原拍攝系統的轉換函數，我們提出的演算法直接針對還未經過任何影像處理的原始影像資料進行融合。此影像融合系統中亦包含整體性與局部性抖動補償演算法，能有效補償晃動的問題並且得到穩定的融合結果。

Fusing multiple frames with different exposure time can accommodate the scenes with high dynamic range. In this thesis, we propose an approach that is to fuse two consecutive video frames with different exposure time. Finding moving objects and human faces in such a higher dynamic range fused image is much easier than the typical exposed frame. The proposed approach has been implemented on a commercial digital camera with robust hardware and software platform and the experimental result shows that the fusion speed is around 4 frames/seconds.
Fusing several differently exposed images is particular useful for taking pictures in high dynamic range scenes. However, the scene changes resulted from moving objects and vibrations caused by photographers must be compensated adaptively in practical camera applications. In this thesis, we propose a complete image fusion system aiming at extending dynamic range of a picture by fusing three differently exposed images. Unlike most of fusion algorithms operate on processed images and try to recovery the transfer functions of imaging systems, the proposed image fusion algorithm directly works on raw image data before performing any color image processing. The proposed global and local stabilization algorithms efficiently remedy the vibration problems and achieve a quite stable image fusion result.

目 錄
中文摘要………………………….……………………………………………………i
英文摘要………………………….…………………………………………………...ii
誌　　謝…..…………………………………………………………………………iii
目　　錄……………….……………………………………………………..……iv
圖 目 錄…….………………………………………………….…………………vii
表 目 錄……………………...….…………..………….…………………………x
第一章 緒論 1
1.1 研究動機 1
1.1.1 監控系統上的影像融合 2
1.1.2 結合抖動補償的靜態影像融合 3
1.2 相關研究 4
1.2.1 動態範圍的意義 4
1.2.2 影像融合的意義 5
1.2.3 影像融合演算法的分類 7
1.2.4 典型的影像融合文獻概述 8
1.3 現今方法存在的問題 11
1.4 提出方法 12
1.4.1 監控系統上的影像融合 12
1.4.2 結合抖動補償的靜態影像融合 13
1.5 論文章節架構 14
第二章 數位相機系統簡介 15
2.1 系統介紹 15
2.2 系統晶片硬體平台 16
2.3 嵌入式軟體平台 17
2.4 動態影像錄製流程 18
2.5 靜態影像擷取流程 23
第三章 影像融合系統架構 27
3.1 監控系統上的影像融合 27
3.1.1 監控系統監控流程 27
3.1.2 影像融合系統架構 28
3.1.3 影像融合輸出入資料 29
3.2 結合抖動補償的靜態影像融合 30
3.2.1 靜態影像融合系統架構 30
3.2.2 靜態影像融合輸出入資料 32
第四章 影像融合相關研究 34
4.1 尋找數位相機非線性轉換函數的影像融合 34
4.2 採取金字塔結構的影像融合 40
4.3 以梯度為基礎之多重解析度影像融合 44
第五章 監控系統上的影像融合 46
5.1 二次曝光 46
5.2 亮度分佈統計 47
5.3 影像倍率調整 48
5.4 影像來源選擇 48
5.5 測試與實驗結果 49
第六章 結合抖動補償的靜態影像融合 52
6.1 4倍曝光與正常曝光的影像融合 53
6.2 正常曝光與1/4倍曝光的影像融合 63
6.3 2’倍曝光與1/2’倍曝光的影像融合 64
6.4 彩色影像處理流程 64
6.5 實驗結果 64
第七章 實驗結果 77
7.1 監控系統上的影像融合 77
7.2 結合抖動補償的靜態影像融合 77
第八章 結論與未來工作 84
8.1 結論 84
8.2 未來工作 84
參 考 文 獻 85
自 傳… …....…………………………………………………………………88
學 術 成 就…...……………..………………………………………………………89
圖 目 錄

圖2-1 數位相機系統 16
圖2-2 系統晶片與相關硬體模組圖 17
圖2-3 嵌入式軟體系統架構圖 18
圖2-4 動態影像錄製流程圖 19
圖2-5 自動曝光與自動白平衡流程圖 20
圖2-6 自動曝光權值矩陣 21
圖2-7 自動曝光控制曲線 22
圖2-8 自動曝光對照表 22
圖2-9 靜態影像擷取控制流程圖 23
圖2-10 彩色影像處理流程 24
圖3-1 監控系統流程圖 28
圖3-2 即時影像融合系統架構 29
圖3-3 輸出入影像資料格式 30
圖3-4 三次影像融合系統架構 30
圖3-5 每一次影像融合的演算流程 31
圖3-6 整體性抖動補償架構圖 31
圖3-7 Bayer Pattern 32
圖3-8 輸入的原始影像資料 33
圖3-9 輸出的原始影像資料 33
圖4-1 影像擷取流程圖 35
圖4-2 正規化前與正規化後之反應曲線 38
圖4-3 數位相機以不同曝光拍攝的灰階圖 39
圖4-4 反應曲線與光輝映射圖 40
圖4-5 圖樣選擇式影像融合系統架構 41
圖4-6 梯度圖 44
圖4-7 QMF與梯度範例 44
圖4-8 以梯度為基礎的影像融合與分解架構 45
圖5-1 多重曝光影像亮度分布圖 47
圖5-2 影像融合結果一 49
圖5-3 影像融合結果二 50
圖5-4 影像融合結果三 51
圖6-1 正規化前與正規化後彩色影像 54
圖6-2 移動估測 55
圖6-3 搜尋範圍 56
圖6-4 正常曝光與4倍曝光影像亮度示意圖 58
圖6-5 均勻色塊 58
圖6-6 融合與局部性抖動補償流程 60
圖6-7 不穩定與飽和像素偵測演算法 61
圖6-8 影像融合實驗結果一 66
圖6-9 影像融合實驗結果二 67
圖6-10 影像融合實驗結果三 68
圖6-11 影像融合實驗結果四 69
圖6-12 影像融合實驗結果五 70
圖6-13 經對數轉換的原始影像資料一 72
圖6-14 經對數轉換的原始影像資料二 73
圖6-15 經對數轉換的原始影像資料三 74
圖6-16 經對數轉換的原始影像資料四 75
圖6-17 經對數轉換的原始影像資料五 76
圖7-1 數位相機平台的監控系統 77
圖7-2 數位相機HP photosmart 435 78
圖7-3 經彩色影像流程的實驗結果一 79
圖7-4 經彩色影像流程的實驗結果二 80
圖7-5 經彩色影像流程的實驗結果三 81
圖7-6 經彩色影像流程的實驗結果四 82
圖7-7 經彩色影像流程的實驗結果五 83


表 目 錄

表7-1 監控系統上的影像融合在不同平台的執行速度 77
表7-2 靜態影像融合在PC上的執行時間 78

[1] H. C. Lee, Introduction to Color Imaging Science, Cambridge University Press, 2005.
[2] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2/E, New Jersey, 2002.
[3] M.Aggarwal, N.Ahuja, “Split aperture imaging for high dynamic range,” in Proc. IEEE International Conference on Computer Vision, 2001, vol. 2, pp. 10-17.
[4] S. Battiato, A. Castorina, and M. Mancuso, “High dynamic range imaging for digital still camera: an overview,“ Journal of Electronic Imaging, vol. 12(3), pp. 459-469, July 2003.
[5] P. Debevec and J. Malik, "Recovering high dynamic range radiance maps from photographs," in Proc. 24th Annual Conference on Computer Graphics and Interactive Techniques, 1997, pp. 369-378.
[6] L. Bogoni, M. Hansen, and P. Burt, “Image enhancement using pattern-selective color image fusion,” in Proc. Int. Conf. on Image Analysis and Processing, Sept. 1999, pp. 44-49.
[7] B. K. Gunturk, Y. Altunbasak, and R. M. Mersereau, “Multi-frame information fusion for gray-scale and spatial enhancement of images,” in Proc. IEEE International Conference on Image Processing (ICIP), Sept. 2003, vol. 2, pp. 14-17.
[8] G. Piella, “A general framework for multiresolution image fusion: from pixels to regions,” Information Fusion, vol. 4, no. 4, pp. 259-280, 2003.
[9] V. S. Petrovic and C. S. Xydeas, “Gradient based multiresolution image fusion,” IEEE Trans. Image Processing, vol. 13, no. 2, Feb. 2004.
[10] G. Liu, Z. Jing, and S. Sun, “Image fusion based on an expectation maximization algorithm,” Proc. SPIE., vol. 44, pp. 1-11, July 2005.
[11] R. Raskar, A. Ilie, and J. Yu, “Image fusion for context enhancement and video surrealism,” in Proc. International Symposium on Non-photorealistic Animation and Rendering, June 2004, pp. 85-152.
[12] A. Castorina, A. Capra, S. Curti, E. Ardizzone, and V. L. Verde, “Improved multi-resolution image fusion,” in Proc. IEEE International Conference on Consumer Electronics (ICCE), Jan. 2005, pp. 131-132.
[13] M. D. Jasiunas, D. A. Kearney, J. Hopf, and G. B. Wigley, “Image fusion for uninhabited airborne vehicles,” in Proc. IEEE International Conference on Field-Programmable Technology (ICFPT), Dec. 2002, pp. 348-351.
[14] M. A. Robertson, S. Borman, and R. L. Stevenson, “Dynamic range improvement through multiple exposure,” in Proc. IEEE International Conference on Image Processing, Oct. 1999, vol. 3, pp. 159-163.
[15] K. Yamada, T. Nakano, and S. Yamamoto, “Wide dynamic range vision sensor for vehicles,” in Proc. IEEE International Conference on Vehicle Navigation and Information Systems, Aug. 1994, pp. 405-408.
[16] C. Heng, L. Jie, and Z. Wei-le, “Image fusion scheme based on local gradient,” in Proc. IEEE International Conference on Circuits and Systems, May 2005, vol. 1, pp. 528-532.
[17] S. Mann and R. W. Picard, “On being ‘undigital’ with digital cameras: extending dynamic range by combining differently exposed pictures,” in IS&T’s 48th Annual Conference, May 1995, pp. 422-428.
[18] Z. G. Jiang, D. B. Han, J. Chen, and X. K. Zhou, “A wavelet based algorithm for multi-focus micro-image fusion,” in Proc. IEEE International Conference on Image and Graphics, 2004
[19] M. Li, Y. Wu, and S. Wu, “A new pixel-level multi-focus image fusion algorithm based on evolutionary strategy,” in Proc. IEEE International Conference on Control, Automation, Robotics and Vision Kunming, China, Dec. 2004, pp. 810-814.
[20] A. Pardo and G. Sapiro, “Visualization of high dynamic range images,” IEEE Trans. Image Processing, pp. 639-647, vol. 12, no. 6, June 2003.
[21] Wen-Chung Kao, Chih-Chung Kao, Shou-Hung Chen, Yen-Wei Hung. “The embedded software architecture for real-time video and audio recording,” in Proc. CVGIP 05, Taiwan, ROC, 2005, pp. 1462-1467.
[22] Wen-Chung Kao, Sheng-Hong Wang, Ying-Ju Chen, Chien-Chih Hsu, and Chi-Wu Huang, “Toward ideal color image processing pipeline,” in Proc. CVGIP 05, Taiwan, ROC, 2005, pp. 1621-1628.
[23] Wen-Chung Kao, Lien-Yang Chen, and Sheng-Hong Wang, “Tone reproduction in color imaging systems by histogram equalization of macro edges,” IEEE Trans. Consumer Electronics, pp. 682-688, vol. 52, no. 2, May 2006.
[24] Wen-Chung Kao and Ying-Ju Chen, “Multistage bilateral noise filtering and edge detection for color image enhancement,” IEEE Trans. Consumer Electronics, pp. 1346-1350, vol. 51, no. 4, Nov. 2005.
[25] Wen-Chung Kao, Chih-Chung Kao, Ching-Kai Lin, Tai-Hua Sun, and Sheng-Yuan Lin, “Reusable embedded software platform for versatile camera systems,” IEEE Trans. Consumer Electronics, pp. 1379-1385, vol. 51, no. 4, Nov. 2005.
[26] Wen-Chung Kao, Chin-Ming Hong, and Sheng-Yuan Lin, “Automatic sensor and mechanical shutter calibration for digital still cameras,” IEEE Trans. Consumer Electronics, pp. 1060-1066, vol. 51, no. 4, Nov. 2005.