臺灣博碩士論文加值系統

本文利用雙攝相機與崁入式系統樹莓派建構一套立體視覺系統，用來追蹤蚊子在空間中的移動軌跡，將移動軌跡產生的影像座標推出物點的三維世界座標，在此研究過程中探討立體成像的建構與蚊子在空間中飛行移動的行為分析。
文中首先會提出如何透過校正的方法，找出兩台相機之間的內、外部參數，這些參數描述了相機的內部幾何與空間中的位置關係，再利用這些參數建構立體視覺。然後以左視圖開始，利用移動偵測的方法找出立體影像中蚊子的位置，再依據極限幾何限制的條件限制，檢查右視圖所偵測的目標物位置是否擁有相同特徵，利用相似三角形的定理和相機內、外參數推導出目標物的三維座標，記錄當前的時間與座標的資訊，最後將所得的三維座標記錄還原至三維座標中，觀察還原的移動軌跡分析蚊子的飛行行為。
不同種類的蚊子，牠們的活動時間不一定相同，分為白天和夜間行動，在夜間觀察中，我們利用紅外線照明觀察蚊子的活動，而紅外線的照射與相機機身的結合，紅外線照射在觀察箱上的反射光，影響了攝影機的觀察，因此夜間觀察中，我們將紅外線補光的位置移動至觀察箱的兩側，避免紅外線的照射的光反射至攝影機，使影像畫面的明暗對比過大，影響攝影機偵測蚊子的效果。
若系統的採樣頻率固定，即是移動偵測的敏感度(蚊子移動多少觸發移動記錄)，與蚊子的飛行速度成反比。蚊子飛得越快，所得的飛行座標軌跡越離散，在機械視覺中，移動偵測對於朝著攝影機垂直飛行的蚊子較不敏感。

The purpose of this paper is to uses two cameras and raspberry pi to construct the stereoscopic vision system, which is used to track the mosquito and record the moving trajectory in 3-D space. Then we get the three-dimensional coordinates and analysis behavior of mosquito.
We first apply how to do camera calibration to find out the intrinsic and extrinsic parameters between two cameras. And we can understand the camera's internal geometry and its position in space. The step start with the left view, the position of the mosquito in the stereoscopic image is found by means of the motion detection method. According to the limit of epipolar geometry, check whether the target position detected by the right view has the same characteristics, using the triangulation and the intrinsic and extrinsic parameters of the camera derive the three-dimensional coordinates of the target, record the current time and coordinates of the information, and finally restore the recorded to the three-dimensional coordinates, observe the trajectory and analysis mosquito flying behavior.
In the case of infrared light observation at night, due to the combination of the infrared ray and the camera body, the infrared rays illuminate the reflected light on the observation box, affecting the observation of the camera, the position of the infrared fill light, and should avoid direct exposure or reflection to the camera Image contrast of the screen is too large, affecting the camera to detect the effect of mosquitoes. If the sampling frequency of the system is fixed, that is, the sensitivity of the motion detection (how much mosquito movement triggers the record) is inversely
proportional to the flight speed of the mosquito. The faster the mosquito flew, the more the trajectory of the flight. Motion detection is less sensitive to vertical flying mosquitoes.
In this paper, we use mechanical vision method to observe the trajectory, mosquitoes can be inferred in the observation box in the way of flight and distribution of activities, if some mosquitoes fly above the box, some are below, or activity Lower, less trajectory and so on.

致謝詞 i
中文摘要 ii
Abstract iii
目錄 v
圖目錄 vii
表目錄 ix
第一章 緒論 1
1.1 研究動機 1
1.2 研究目的 2
1.3 論文架構 3
第二章 相關研究 4
2.1 攝影機的幾何 4
2.1.1 針孔攝影機模型 4
2.1.2 攝影機的各種座標關係 5
2.1.3 相機的參數 6
2.2 相機的校正 9
2.2.1 單相機的校正原理 9
2.2.2 立體校正 10
2.2.3 視覺深度 11
2.3 極線幾何 12
2.3.1 極限幾何 12
2.3.2 極限幾何限制 13
2.3.3 基礎矩陣 14
2.4 形態學 14
2.4.1 膨脹與侵蝕 15
2.5 移動偵測的方法 15
2.5.1 偵間差分法 15
第三章 三維空間蚊子軌跡記錄系統 16
3.1 攝影機的校正與立體視覺的建立 17
3.1.1 使用校正版校正攝影機 17
3.1.2 雙相機的校正 19
3.1.3 立體視覺系統的驗證 22
3.2 移動偵測與視差計算 40
3.3 移動軌跡的三維座標還原 41
第四章 實驗結果 43
4.1 實驗的環境設備 43
4.2 四種蚊子在觀察箱中的飛行記錄 44
4.2.1 日間行動的雌性埃及斑蚊 44
4.2.2 日間行動的雌性白線斑紋 45
4.2.3 日間行動的雄性白線斑紋 45
4.2.4 夜間雌性熱帶家蚊移動軌跡 46
4.2.5 夜間雌性地下家蚊移動軌跡 47
第五章 結論及未來展望 49
參考資料 50

 
圖目錄
圖2-1 真實世界的P點投影到相機平面P’的路徑 5
圖2-2 世界座標點PW與相機座標的PC的位置關系 7
圖2-3 線條的變化由左至右分別是原影像、徑向失真與切向失真 8
圖2-4 立視視覺模型 12
圖2-5 極線幾何限制 13
圖3-1 攝影機與壓克力觀察箱的擺放位置 16
圖3-2 記錄蚊子軌跡的系統流程圖 17
圖3-3 大小為11X16的棋盤格校正板，每格方格實際大小為2.1公分 18
圖3-4 校正前需先拍攝含有棋盤圖的影像約20張左右 18
圖3-5 同時拍攝左右視圖中的校正板 19
圖3-6 使用 OPENCV 實現雙相機校正的流程圖 20
圖3-7 使用OPENCV在校正板上找尋格點的結果 21
圖3-8 世界座標對應校正板的關係位置 21
圖3-9 X 方向量測，(A)~(D)左右視圖在不同刻度的測量 23
圖3-10 Y 方向量測，(A)~(D)左右視圖在不同刻度的測量 25
圖3-11 量測校正板方格點的大小 26
圖3-12 校正板方格點投影在實際座標位置 26
圖3-13 測量 Z 軸的第一種曲線，(A)左視圖，(B)右視圖 28
圖3-14 測量 Z 軸的第二種曲線，(A)左視圖，(B)右視圖 28
圖3-15 測量 Z 軸的第三種曲線，(A)左視圖，(B)右視圖 29
圖3-16 測量 Z 軸的第四種曲線，(A)左視圖，(B)右視圖 29
圖3-17 測量 Z 軸的第五種曲線，(A)左視圖，(B)右視圖 30
圖3-18 於Z軸第一種曲線量測結果圖 30
圖3-19 Z方向的第一種曲線量測深度 31
圖3-20 於Z軸第二種曲線量測結果圖 32
圖3-21 Z方向的第二種曲線量測深度 33
圖3-22 Z 軸第三種曲線量測圖 34
圖3-23 Z 方向的第三種曲線量測深度 35
圖3-24 Z 軸第四種曲線量測圖 36
圖3-25 Z 方向的第四種曲線量測深度 37
圖3-26 於Z軸第五種曲線量測圖 38
圖3-27 Z 方向的第五種曲線量測深度 39
圖3-28 移動偵測流程 40
圖3-29 左、右視圖補獲蚊子蹤跡結果 41
圖4-1 實驗中便用的硬體設備一覽 44
圖4-2 (A)雌性埃及斑蚊在三維空間中的移動軌跡，(B) XY 平面，(C) XZ 平面 45
圖4-3 (A)雌性白線斑蚊在三維空間移動的軌跡，(B) XY 平面，(C) XZ 平面 45
圖4-4 (A)雄性白線斑蚊在三維空間移動的軌跡，(B) XY 平面，(C) XZ 平面 46
圖4-5 夜間熱帶斑蚊(A) XYZ 軸座標，(B) XY 軸座標，(C) XZ 軸座標，(D) YZ軸座標 47
圖4-6 夜間雌性地下家蚊 (A) XYZ 軸座標，(B) XY 軸座標，(C) XZ 軸座標，(D) YZ軸座標 48



 
表目錄
表 1 台灣常見幾種蚊子的活動時間 1
表 2 世界座標與平面座標的對應 22
表 3 於X軸量測數據記錄 22
表 4於Y軸量測數據記錄 24
表 5 前20筆3D 校正板上格點位置的資訊 27
表 6於Z軸第一種曲線量測數據記錄 30
表 7於Z軸第二種曲線量測數據記錄 32
表 8於Z軸第三種曲線量測數據記錄 34
表 9於Z軸第四種曲線量測數據記錄 36
表 10於Z軸第五種曲線量測數據記錄 38
表 11 設備清單一覽 43
表 12 使用的軟體環境平台 43

[1] R. T. Cardé and M. A. Willis, "Navigational strategies used by insects to find distant, wind-borne sources of odor," Journal of chemical ecology, Vol. 34, pp. 854-866, 2008.
[2] W. Takken and B. G. J. Knols, "Odor-mediated behavior of Afrotropical malaria mosquitoes," Annual review of entomology, Vol. 44, pp. 131-157, 1999.
[3] E. S. Lacey and R. T. Cardé, "Activation, orientation and landing of female Culex quinquefasciatus in response to carbon dioxide and odour from human feet: 3-D flight analysis in a wind tunnel," Medical and veterinary entomology, Vol. 25, pp. 94-103, 2011.
[4] Y. T. Qiu, R. C. Smallegange, C. J. F. ter Braak, J. Spitzen, Van, J. A. L. Joop, M. Jawara, P. Milligan, A. M. Galimard, Van, A. B. Teris, B. G. J. Knols and others, "Attractiveness of MM-X traps baited with human or synthetic odor to mosquitoes (Diptera: Culicidae) in The Gambia," Journal of medical entomology, Vol. 44, pp. 970-983, 2007.
[5] J. J. Laarman and others, "The Host-Seeking Behaviour of Anopheline Mosquitoes.," Tropical and geographical medicine, Vol. 10, pp. 293-305, 1958.
[6] M. T. Gillies, "The role of carbon dioxide in host-finding by mosquitoes (Diptera:Culicidae): a review," Bulletin of Entomological Research, Vol. 70, pp. 525-532, 1980.
[7] T. P. Healy, M. J. W. Copland, A. Cork, A. Przyborowska and J. M. Halket, "Landing responses of Anopheles gambiae elicited by oxocarboxylic acids.," Medical and veterinary entomology, Vol. 16, pp. 126-132, 2002.
[8] G. Gibson, "A behavioural test of the sensitivity of a nocturnal mosquito, Anopheles gambiae, to dim white, red and infra-red light," Physiological Entomology, Vol. 20, pp. 224-228, 1995.
[9] J. Spitzen, C. W. Spoor, S. Kranenbarg, J. Beeuwkes, L. P. J. J. Noldus, J. L. van Leeuwen and W. Takken, "Track 3D: visualization and flight track analysis of Anopheles gambiae ss mosquitoes," Proceedings of the 6th International Conference on Methods and Techniques in Behavioral Research, Measuring Behavior, Maastricht, The Netherlands, 2008.
[10] J. Beeuwkes, J. Spitzen, C. W. Spoor, J. L. V. Leeuwen and W. Takken, "3-D flight behaviour of the malaria mosquito Anopheles gambiae ss inside an odour plume," Proceedings of the Netherlands Entomological Society Meeting, Vol. 19, pp. 137-146, 2008.
[11] Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on pattern analysis and machine intelligence, Vol. 22, pp. 1330-1334, 2000.
[12] A. J. Lipton, H. Fujiyoshi and R. S. Patil, "Moving target classification and tracking from real-time video," Applications of Computer Vision, WACV9́8. Proceedings, Fourth IEEE Workshop, 1998.
[13] J.-H. Jean and F.-L. Lian, "Robust Visual Servo Control of a Mobile Robot for Object Tracking Using Shape Parameters," IEEE Transactions on Control Systems Technology, Vol. 20, pp. 1461-1472, 2012.
[14] B. K. P. Horn and B. G. Schunck, "Determining optical flow," Artificial intelligence, Vol. 17, pp. 185-203, 1981.
[15] R. Hartiey and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2000.
[16] G. Bradski and A. Kaehler, Learning OpenCV: Computer Vision with the OpenCV Library, sabastopol, CA: OŔeilly Media, 2008.
[17] 廖德潭, "雙照相機立體成像系統的建模與分析," 博士論文, 國立成功大學, 2003.
[18] R. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses," IEEE Journal on Robotics and Automation, Vol. 3, pp. 323-344, 1987.
[19] A. Nordmann, "Epipolar geometry," 2008. Available at: https://en.wikipedia.org/wiki/File:Epipolar_geometry.svg
[20] 繆紹綱, 影像處理與電腦視覺, 台北：台灣培生教育出版公司, 2003.
[21] W. Takken, "The role of olfaction in host-seeking of mosquitoes: a review," International Journal of Tropical Insect Science, Vol. 12, pp. 287-295, 1991.