(34.201.11.222) 您好!臺灣時間:2021/02/25 05:22
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:李旨平
研究生(外文):Zhi-Ping Li
論文名稱:基於側面投影法之內容感知圖像與影片縮放研究
論文名稱(外文):Projection Profile-based Content Aware Image and Video Retargeting
指導教授:莊政宏莊政宏引用關係
指導教授(外文):Cheng-Hung Chuang
學位類別:碩士
校院名稱:亞洲大學
系所名稱:資訊工程學系碩士班
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2011
畢業學年度:99
語文別:中文
論文頁數:81
中文關鍵詞:側面投影法內容感知圖像縮放內容感知影片縮放
外文關鍵詞:Projection profileContent awareImage retargetingVideo retargetingImage resizingVideo resizing
相關次數:
  • 被引用被引用:0
  • 點閱點閱:152
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
本論文提出了一基於側面投影之內容感知縮放的方法,對圖像以及影片進行非均勻式的變形縮放。首先,我們先以能量公式 (energy function) 計算出圖像及影片畫面中的重要及非重要部分,能量公式的計算則利用邊緣偵測 (edge detection) 及視覺顯著性能量圖 (saliency map) 之方法來實現,影片縮放則另外加入了畫面差異能量圖 (Frame difference map) 。接著利用能量圖計算出圖像或影片中畫面的垂直與水平的能量投影特徵來統計重要性的數據。如此,圖像及影片畫面各個部位縮放的比例將會是不同的,達到保護了重要內容的非均勻式變形縮放的目的。而本方法也能有效地降低在 seam carving 中產生的不連續性問題。
In this thesis, a projection profile-based algorithm is proposed for content-aware image and video resizing. First, an energy map which describes the image or the video frame important and unimportant parts are calculated by energy functions. The edge detection, the saliency-based visual attention model, and video frame difference are applied in the energy functions. Then the proposed method uses horizontal and vertical projection profiles of the energy map to gather importance statistics. Thus, different scaling of the image or the video frame content is extracted. By this way, the discontinuity and misalignment that usually occurs in the results of seam carving is reduced. Experiments result show that the proposed method is capable of yielding some acceptable results.
目錄

摘要 iv
Abstract v
圖目錄 1
表目錄 6
第一章 緒論 7
1.1 前言 7
1.2 研究目的 7
第二章 文獻探討 9
2.1 變形法 (Warping-base method) 9
2.2 裁切法 (Cropping-base method) 10
2.3 Seam carving-base method 10
第三章 基於側面投影法之內容感知圖像縮放 12
3.1 視覺顯著部分 (Visual salience) 13
3.1.1 邊緣能量圖 (Edge map) 14
3.1.2 視覺顯著性能量圖 (Saliency map) 16
3.1.3 結合邊緣及視覺顯著性能量圖 20
3.2 能量投影特徵 (Energy projection profiles) 21
3.3 非均勻式變形 (Nonuniform warping scaling) 22
第四章 基於側面投影法之內容感知影片縮放 29
4.1 畫面差異能量圖 (Frame difference map) 30
4.2 影片能量投影特徵 (Energy projection profiles of video) 31
4.3 影片的非均勻式變形 (Video nonuniform warping) 32
第五章 實驗結果 36
5.1 圖像縮放實驗結果 36
5.2 影片縮放實驗結果 49
第六章 結論 69
致謝 70
參考文獻 71


圖目錄
圖 2.3 1 Seam carving 最小能量值之最佳縫 【引用自 [1] 】 10
圖 2.3 2 使用 Seam carving 縮放後,主體部分被去除掉且變形 (a) 圖像 “Toji Temple” ; (b) 經由Seam carving 縮小寬度後之結果 11
圖 3 1 圖像縮放之流程圖 12
圖 3 2 圖像縮放比較圖(500×375),(b)(c)(d)(e)圖像均縮放為(400×300);(a) 為原始圖像 “flower” ;(b) 為Bicubic內插法縮放的結果;(c) 為裁切的結果;(d) 為“Seam carving” 縮放的結果;(e) 為以我們的方法縮放之結果 13
圖 3.1 1 (a) 圖像 “Toji Temple”; (b) 為其經過 Sobel梯度運算後之邊緣能量圖 15
圖 3.1 2 Saliency map 流程圖 【引用自 [18] 】 16
圖 3.1 3 Gaussian pyramids 降取樣示意圖 17
圖 3.1 4 正規化運算 N. 【引用自 [18] 】 18
圖 3.1 5 (a) 原始圖像 “Toji Temple”; (b) 其Saliency map 能量圖 19
圖 3.1 6 (a)為邊緣能量圖; (b)為視覺顯著性能量圖; (c)為兩者結合之能量圖 20
圖 3.2 1 (a) 圖像 “Toji Temple”; (b) 其能量圖與水平和垂直能量投影特徵 22
圖 3.2 2 圖像 “Toji Temple” 經平滑化後水平與垂直的能量投影特徵 22
圖 3.3 1 非均勻變形示意圖 23
圖 3.3 2 (a)為邊緣能量圖水平方向的比例係數與圖像縮放的結果 (其中 rx 設定值為3) ; (b) 為邊緣能量圖垂直方向的比例係數與圖像縮放的結果 (其中 ry 設定值為2.7) 26
圖 3.3 3 (a)為視覺顯著性能量圖水平方向的比例係數與圖像縮放的結果 (其中 rx 設定值為3) ; (b) 為視覺顯著性能量圖垂直方向的比例係數與圖像縮放的結果 (其中 ry 設定值為2.7) 27
圖 3.3 4 (a)為合併後能量圖水平方向的比例係數與圖像縮放的結果 (其中 rx 設定值為3) ; (b) 為合併後能量圖垂直方向的比例係數與圖像縮放的結果 (其中 ry 設定值為2.7) 28
圖 4 1 影片縮放之流程圖 29
圖 4.1 1 影片 “foreman” 之畫面差異能量圖 31
圖 4.3 1 平均當前畫面與其 ω 範圍內畫面的縮放係數,當作其縮放係數 35
圖 5.1 1 我們的方法與 Bicubic 和 seam carving 之比較 (Image No. 1 縮放寬) ; (a) Image No. 1 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e) 經由我們的方法縮小後之結果,範圍參數分別為 rx = 1.5 和 rx = 2.2 38
圖 5.1 2 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 1縮放高) ; (a) Image No. 1 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e) (f) 經由我們的方法縮小後之結果,範圍參數分別為 ry = 1.5 、 ry = 2.2 、 ry = 4 39
圖 5.1 3 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 2) ; (a) Image No. 2 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e) 經由我們的方法縮小後之結果,範圍參數分別為 ry = 1.2 和 ry = 1.6 40
圖 5.1 4 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 3) ; (a) Image No. 3 之原始圖像; (b) 經由Bicubic 縮放後之結果; (c) 經由 Seam carving 縮放後之結果; (d) (e) 經由我們的方法縮放後之結果,範圍參數分別為 rx = 3 、 ry = 1.2 和 rx = 3 、 ry = 2 41
圖 5.1 5 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 4) ; (a) Image No. 4 之原始圖像; (b) 經由Bicubic 縮放後之結果; (c) 經由 Seam carving 縮放後之結果; (d) (e) 經由我們的方法縮放後之結果,範圍參數分別為 rx = 1 、 ry = 4 和 rx = 2.3 、 ry = 4 42
圖 5.1 6 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 5) ; (a) Image No. 5 之原始圖像; (b) 經由Bicubic 縮放後之結果; (c) 經由 Seam carving 縮放後之結果; (d) (e) 經由我們的方法縮放後之結果,範圍參數分別為 rx = 0.5 、 ry = 2.5 和 rx = 1 、 ry = 2.5 43
圖 5.1 7 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 6) ; (a) Image No. 6 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e) (f) 經由我們的方法縮小後之結果,範圍參數分別為 rx = 2 、 rx = 3 、 rx = 4 44
圖 5.1 8 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 7) ; (a) Image No. 7 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e)經由我們的方法縮小後之結果,範圍參數分別為 rx = 1.5 、 rx = 2 45
圖 5.1 9 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 8) ; (a) Image No. 8 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e)經由我們的方法縮小後之結果,範圍參數分別為 rx = 2 、 rx = 3 46
圖 5.1 10 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 9) ; (a) Image No. 9 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e)經由我們的方法縮小後之結果,範圍參數分別為 rx = 2 、 rx = 3 47
圖 5.1 11 我們的方法與 Bicubic 和 Seam carving 之比較 (Image No. 10) ; (a) Image No. 10 之原始圖像; (b) 經由Bicubic 縮小後之結果; (c) 經由 Seam carving 縮小後之結果; (d) (e)經由我們的方法縮小後之結果,範圍參數分別為 rx = 2 、 rx = 3 48
圖 5.2 1 Video No. 1 原始影片擷取畫面 51
圖 5.2 2 Video No. 2 原始影片擷取畫面 51
圖 5.2 3 Video No. 3 原始影片擷取畫面 52
圖 5.2 4 Video No. 4 原始影片擷取畫面 52
圖 5.2 5 Video No. 5 原始影片擷取畫面 53
圖 5.2 6 Video No. 6 原始影片擷取畫面 53
圖 5.2 7 Video No. 7 原始影片擷取畫面 54
圖 5.2 8 (a) 為 Video No. 1 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 1 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 2) 55
圖 5.2 9 (a) 為 Video No. 1 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 1 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2.2) 56
圖 5.2 10 (a) 為 Video No. 2 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 2 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 1.5) 57
圖 5.2 11 (a) 為 Video No. 2 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 2 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2.2) 58
圖 5.2 12 (a) 為 Video No. 3 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 3 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 1.5) 59
圖 5.2 13 (a) 為 Video No. 3 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 3 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 1.5) 60
圖 5.2 14 (a) 為 Video No. 4 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 4 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 1.5) 61
圖 5.2 15 (a) 為 Video No. 4 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 4 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2.2) 62
圖 5.2 16 (a) 為 Video No. 5 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 5 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 1.5) 63
圖 5.2 17 (a) 為 Video No. 5 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 5 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2.2) 64
圖 5.2 18 (a) 為 Video No. 6 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 6 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 1.2) 65
圖 5.2 19 (a) 為 Video No. 6 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 6 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2) 66
圖 5.2 20 (a) 為 Video No. 7 以 bicubic 縮放成16:9 (256×144) 後之截圖; (b) 為 Video No. 7 以我們的方法縮放成16:9 (256×144) 後之截圖 (rx = 2.2) 67
圖 5.2 21 (a) 為 Video No. 7 以 bicubic 縮放成1:1 (144×144) 後之截圖; (b) 為 Video No. 7 以我們的方法縮放成1:1 (144×144) 後之截圖 (rx = 2) 68


表目錄
表 5.1 1 縮放圖像之圖像資訊 34
表 5.2 1 縮放影片之影片資訊 47
[1]Shai Avidan, Ariel Shamir, “Seam carving for content-aware image resizing”, ACM Transactions on Graphics (TOG), Vol. 26, No. 3, Article 10, 2007.
[2]CHEN B., SEN P., “Video carving”, In Short Papers Proceedings of Eurographics, 2008.
[3]Michael Rubinstein, Ariel Shamir, Shai Avidan, “Improved seam carving for video retargeting”, ACM Transactions on Graphics (TOG), Vol. 27 No.3, Aug. 2008.
[4]Hiroshi Akima, “A New Method of Interpolation and Smooth Curve Fitting Based on Local Procedures”, ACM Journal, Vol. 17, pp. 589-602, Oct. 1970.
[5]G. Ciocca, C. Cusano, F. Gasparini, R. Schettini. Self-Adaptive Image Cropping for Small Displays. IEEE Transactions on Consumer Electronics, Vol. 53, No. 4, pp. 1622-1627, 2007.
[6]Radhakrishna Achanta, Sabine Süsstrunk, “Saliency Detection for Content-Aware Image Resizing”, Proc. IEEE International Conference, Image Processing (ICIP), pp. 1005-1008, 2009.
[7]Radhakrishna Achanta, Sheila Hemami, Francisco Estrada, Sabine Süsstrunk, “Frequency-tuned Salient Region Detection”, Proc. IEEE Conference Computer Vision and Pattern Recognition(CVPR), pp. 1597-1604, 2009.
[8]Nana Guo, Li Song, Xiaokang Yang, Wenjun Zhang, “Image Interpolation Based On Decomposition”, Proc. IEEE International Conference Image Processing (ICIP), pp. 1569-1572, 2010.
[9]Tongwei Ren, Yan Liu, Gangshan Wu, “Image retargeting based on global energy optimization“, Proc. IEEE International Conference Multimedia and Expo (ICME), pp. 406-409, 2009.
[10]Tongwei Ren, Yan Liu, Gangshan Wu, “Rapid image retargeting based on curve edge-grid representation“, Proc. IEEE International Conference Image Processing (ICIP), pp. 869-872, 2010.
[11]Shu-Fan Wang, Shang-Hong Lai, ” Fast structure-preserving image retargeting”, Proc. IEEE International Conference Acoustics, Speech and Signal Processing (ICASSP), pp. 1049-1052, 2009.
[12]L. Wolf, M. Guttmann, and D. Cohen-Or. Nonhomogeneous content-driven video-retargeting. Proc. IEEE International Conference on Computer Vision (ICCV-07), 2007.
[13]Lianhui Chen, Lanfang Miao, Xinguo Liu, “Balanced Energy for Content-Aware Image Resizing”, Proc. IEEE International Conference, Ubi-media Computing (U-Media), pp. 24-29, 2010.
[14]R. Keys, “Cubic Convolution Interpolation for Digital Image Processing”, Proc. IEEE Transactions, Acoustics, Speech and Signal Processing, pp. 1153-1160, Dec. 1981.
[15]I. S. Reed, A. Yu, “Optimal Spline Interpolation for Image Compression”, U.S. Patent 5822456, Oct. 1998.
[16]A. McAndrew, “Introduction to Digital Image Processing with MATLAB”, THOMSON Course technology, ISBN:0-534-40011-6
[17]H. Greenspan, S. Belongie, R. Goodman, P. Perona, S. Rakshit, and C.H. Anderson, “Overcomplete Steerable Pyramid Filters and Rotation Invariance,” Proc. IEEE Computer Vision and Pattern Recognition, pp. 222-228, Seattle, Wash., Jun. 1994.
[18]Laurent Itti, Christof Koch, Emst Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, Nov. 1998.
[19]H. Greenspan, S. Belongie, R. Goodman, P. Perona, S. Rakshit, and C.H. Anderson, “Overcomplete Steerable Pyramid Filters and Rotation Invariance,” Proc. IEEE Computer Vision and Pattern Recognition, pp. 222-228, Seattle, Wash., Jun. 1994.
[20]Seam-carving-gui, A GUI for Content Aware Image Resizing (Retargeting, Seam Carving). url: http://code.google.com/p/seam-carving-gui
[21]J. Harel, C. Koch, and P. Perona, "Graph-Based Visual Saliency", Proceedings of Neural Information Processing Systems (NIPS), 2006.
[22]J. Harel, A Saliency Implementation in MATLAB: http://www.klab.caltech.edu/~harel/share/gbvs.php
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
1. 22. 張明琴,謝文彬,蘇弘毅,王敏昭,2003。以Fenton法處理受PAHs 污染土壤之可行性研究,弘光學報,42:163-170。
2. 22. 張明琴,謝文彬,蘇弘毅,王敏昭,2003。以Fenton法處理受PAHs 污染土壤之可行性研究,弘光學報,42:163-170。
3. 22. 張明琴,謝文彬,蘇弘毅,王敏昭,2003。以Fenton法處理受PAHs 污染土壤之可行性研究,弘光學報,42:163-170。
4. 22. 張明琴,謝文彬,蘇弘毅,王敏昭,2003。以Fenton法處理受PAHs 污染土壤之可行性研究,弘光學報,42:163-170。
5. 19. 張怡塘,李俊福,周希瓴,黃湘羚,李佳熹,郭旭瓊,康閎洋,2005。不同土壤.水系統生物分解多環芳香族化合物(PAH)之附著態與自由態微生物族群結構及生化反應。國立中央大學環境工程學刊,11:45-65。
6. 19. 張怡塘,李俊福,周希瓴,黃湘羚,李佳熹,郭旭瓊,康閎洋,2005。不同土壤.水系統生物分解多環芳香族化合物(PAH)之附著態與自由態微生物族群結構及生化反應。國立中央大學環境工程學刊,11:45-65。
7. 19. 張怡塘,李俊福,周希瓴,黃湘羚,李佳熹,郭旭瓊,康閎洋,2005。不同土壤.水系統生物分解多環芳香族化合物(PAH)之附著態與自由態微生物族群結構及生化反應。國立中央大學環境工程學刊,11:45-65。
8. 19. 張怡塘,李俊福,周希瓴,黃湘羚,李佳熹,郭旭瓊,康閎洋,2005。不同土壤.水系統生物分解多環芳香族化合物(PAH)之附著態與自由態微生物族群結構及生化反應。國立中央大學環境工程學刊,11:45-65。
9. 9. 林呈翰,廖怡芬,張怡塘,2010。環境荷爾蒙多溴二苯醚有效去除方法,水利土木科技資訊季刊,47:9-12。
10. 9. 林呈翰,廖怡芬,張怡塘,2010。環境荷爾蒙多溴二苯醚有效去除方法,水利土木科技資訊季刊,47:9-12。
11. 9. 林呈翰,廖怡芬,張怡塘,2010。環境荷爾蒙多溴二苯醚有效去除方法,水利土木科技資訊季刊,47:9-12。
12. 9. 林呈翰,廖怡芬,張怡塘,2010。環境荷爾蒙多溴二苯醚有效去除方法,水利土木科技資訊季刊,47:9-12。
 
系統版面圖檔 系統版面圖檔