臺灣博碩士論文加值系統

如何使用圖像來生成立體影像的研究，是多媒體領域中的熱門議題之一。影像式繪圖是其中的一種技術，它的主要概念是從一張或多張的影像中，計算場景的幾何參數，然後經過建模後將適合的影像材質貼上，產生立體視覺的效果。
本篇論文主要使用了影像式繪圖的概念，來達到場景旋轉的目的。首先我們可以拍攝同一場景的多段影片，通過本論文提供的方法計算影片中每一張影格之間的旋轉角度，然後將多個影片整合起來，最後當使用者在影片播放時改變觀看的角度，程式就會自動匹配旋轉後的影像顯示。我們的結果和Google Map非常相似，是一種互動式的影片技術，同時也將會是2D-3D影片處理領域的主流。

Using some images to generate the 3D images is a research that receives the attention in multimedia area. Image-Based Rendering (IBR) is one kind of the technique. The main idea is to compute the geometric parameters of the scene from one or more images. After getting the parameters, it can model the scene and paste the suitable textures to generate the 3D effect.
In this thesis, we use the concept of IBR to achieve the scene rotation. We shot several videos in the same scene, and we can compute the angle of each frame by our method. We compose all the videos and let user can change the angle when the video is playing. The result is very similarity to Google Map, it is an interactive video technique, and it will be the main stream in 2D-3D video processing area.

第一章 緒論 1
1.1 研究動機與目的 1
1.2 開發工具 2
1.3 論文架構 3
第二章 相關研究 4
2.1 影像基礎理論 4
2.1.1 影像金字塔(Image Pyramids) 4
2.1.2 高斯模糊(Gaussian Blur) 5
2.2 影像式繪圖(IBR)介紹 7
2.3 相關研究 8
第三章 研究方法與系統架構 14
3.1 開發概念 14
3.2 前置處理 16
3.2.1 影片拍攝方式與處理 16
3.2.2 相機內部參數 18
3.3 特徵點比對 20
3.3.1 SIFT演算法 20
3.3.2 Rob Hess基於OpenCV的SIFT演算法 28
3.4 平均位移演算法(Mean-Shift)分群 29
3.4.1 基本的Mean-Shift 29
3.4.2 擴展的Mean-Shift 31
3.4.3 演算法步驟 32
3.4.4 應用在影像分群 33
3.5 旋轉角度的計算 36
3.5.1 特徵點選取 36
3.5.2 單應性矩陣(Homography Matrix) 38
3.5.3 最佳旋轉矩陣與旋轉角度 42
3.5.4 相機位置判定 44
第四章 系統實作 46
4.1 系統介面 46
4.2 操作方法 53
第五章 實驗結果與討論 55
5.1 實驗結果 55
5.2 討論 66
第六章 結論與未來研究方向 68
6.1 結論 68
6.2 未來研究方向 69
參考文獻 70
附錄 英文論文 72

圖目錄
圖 1、影像金字塔示意圖 4
圖 2、高斯模糊範例 6
圖 3、影像式繪圖(IBR)示意圖 7
圖 4、VDTM流程示意圖 8
圖 5、在light field中光線以4D的方式表示 9
圖 6、中間為View Morphing產生的新視角圖片 10
圖 7、以權重的方式決定新視角的影像 12
圖 8、運用VBR技術完成的應用 13
圖 9、系統流程圖 14
圖 10、影片拍攝方式 17
圖 11、利用棋盤求內部參數 19
圖 12、Difference of Gaussian 22
圖 13、從DoG的尺度空間中選出特徵點 23
圖 14、方向直方圖 26
圖 15、特徵點的描述向量 27
圖 16、SIFT提取特徵點 28
圖 17、中心點x與範圍內其它點的位移向量 30
圖 18、將中心點移動到新的位置 30
圖 19、演算法示意圖 33
圖 20、使用Mean-Shift分群的結果 35
圖 21、刪除錯誤特徵點 38
圖 22、單應性矩陣的幾何特性 39
圖 23、平面衍生視差 40
圖 24、三維座標旋轉 43
圖 25、C1和C2有相同的旋轉角度 45
圖 26、sinθ的值域 45
圖 27、使用者拍攝的影片 47
圖 28、將影格依照命名方式儲存 47
圖 29、影格的Mean-Shift結果儲存方式 48
圖 30、第一部分程式主介面 48
圖 31、開檔 49
圖 32、SIFT演算法執行完後產生的資料夾 50
圖 33、記錄兩張影格之間對應的特徵點座標 50
圖 34、每張影格會有一個記錄角度的文件檔 51
圖 35、記錄旋轉角度的文件檔內容 51
圖 36、顯示結果的程式介面 52
圖 37、說明介面的操作方法 53
圖 38、實驗用影像的拍攝方式 55
圖 39、實驗一：實驗組影像 57
圖 40、實驗一：實驗組數據 57
圖 41、實驗一：對照組影像 58
圖 42、實驗一：對照組數據 58
圖 43、實驗二：實驗組影像 61
圖 44、實驗二：實驗組數據 61
圖 45、實驗三：實驗組影像 64
圖 46、實驗三：實驗組數據 64

表目錄
表格 1、高斯分佈生成的範例矩陣 6
表格 2、三種影像式繪圖方法的比較 11
表格 3、影格數量與計算時間的關係 18
表格 4、實驗一結果 59
表格 5、實驗二結果 62
表格 6、實驗三結果 65

[1] P. Debevec, C. Taylor, and J. Malik, “Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach”, SIGGRAPH 96, pp. 11-20.
[2] M. Levoy and P. Hanrahan, “Light field rendering”, SIGGRAPH 96, pp. 31-42.
[3] Steven J. Gortler, Radek Grzeszczuk, Richard Szeliski, and Michael F. Cohen, “The lumigraph”, SIGGRAPH 96, pp. 43-54.
[4] ADELSON, E. H., and BERGEN, J. R, “The plenoptic function and the elements of early vision”, In Computational Models of Visual Processing, 1991, pp. 3-20.
[5] McMillan, L., Bishop, G. (1995), “Plenoptic Modeling: An Image-Based Rendering System”, Proc. SIGGRAPH 95, In Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, pp. 39-46.
[6] Chen, S.E., Williams, L. (1993), “View Interpolation for Image Synthesis”, Proc. SIGGRAPH 93, In Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, pp. 279-288.
[7] S. Seitz, C. Dyer (1996), “View Morphing”, SIGGRAPH.
[8] Buehler, M. Bosse, L. McMillan, S. J. Gortler, and M. F. Cohen (2001), “Unstructured Lumigraph Rendering”, SIGGRAPH 2001 Conference Proceedings, ACM Siggraph Annual Conference Series, pp. 425-432.
[9] Ballan, L., Brostow, G. J., Puwein, J., and Pollefeys, M. (2010), “Unstructured video-based rendering: Interactive exploration of casually captured videos”, ACM Trans. on Graphics 29, pp. 1-11.
[10] Snavely, N., Garg, R., Seitz, S. M., and Szeliski, R. (2008), “Finding paths through the world’s photos”, ACM Trans. on Graphics 27, pp. 11-21.
[11] D. G. Lowe (1999), “Object recognition from local scale-invariant features”, In ICCV.
[12] D. G. Lowe (2004), “Distinctive image features from scale-invariant keypoints”, Intl. Journal of Computer Vision, 60(2):91{110.
[13] Koenderink, J. J. (1984), “The structure of images”, Biological Cybernetics 50, pp. 363-370.
[14] Lindeberg, T. (1994), “Scale-Space Theory in Computer Vision”, The Kluwer International Series in Engineering and Computer Science, Kluwer Academic Publishers, Dordrecht, Netherlands.
[15] Rob Hess (2010), “An Open Source SIFT Library”, In Proc., ACM Multimedia (MM).
[16] Y. Cheng (1995), “Mean Shift, Mode Seeking, and Clustering”, IEEE Trans. Pattern Analysis and Machine Intelligence, pp. 790-799