臺灣博碩士論文加值系統

營建業在專案執行過程中參與者眾多、作業流程數量繁重，工程進度控制至為重要，且隨著工程進行得隨時更新進度方能發揮管理功能，然而進度更新資料繁雜且頻繁，人工記錄與計算費時費力，而無法即時配合工程進度更新，而造成欠缺管理功能。
本研究旨在提出更快速更新工程進度的方法以達到進度管理之功能。本研究利用SLAM: Simultaneous Localization and Mapping (同步定位與建圖)獲得點雲數據記錄工程施工現況，並利用機器學習自動識別工地中的元件種類並以此計元件的數量(以模板數量與門窗個數為例)，並把數量計算結果與BIM模型匯出的數量直接進行比對，適時的讓業者掌握工程進度，可以很清楚且快速的呈現二者間之差異，並進而及時進行進度更新。

The schedule has been an important concern of construction project management. However, with the complicated and frequently changing nature of construction project progress data, schedule updating is not only tedious and time-consuming but also difficult to be fast enough to provide real-time information for management purpose.
This study aims at developing a model to automatically update schedule with construction project progress using deep learning. This study uses PointNet developed by Stanford and the point clouds collected using on-site laser scanning of Hsu Shou-International Conference Center as training and testing datasets. With various of improved point cloud recognition methods, this study identifies the different elements such as columns, beams and windows of the project, and calculates the quantity of the elements (taking the quantity of concrete as an example) to automatically update the schedule.

目錄 I
圖目錄 IV
表目錄 VII
第一章 緒論 1
1.1 研究動機與背景 1
1.2 研究目的與內容 2
1.2.1 掃描 2
1.2.2 識別 2
1.2.3 進度管理 2
1.3 研究方法 2
1.3.1 文獻回顧 3
1.3.2 施工現場點雲提取 3
1.3.3 應用深度學習進行點雲識別 3
1.3.4 進度更新 3
第二章 文獻回顧 4
2.1 施工現場的點雲數據收集 4
2.1.1 地面三維雷射掃描儀 4
2.1.2 SLAM掃描儀 5
2.1.3 掃描儀的對比和選擇 7
2.1.4 影像識別方法 8
2.1.5 相似度檢測 8
2.1.6 機器學習 9
2.2 影像辨識於工程之應用 11
2.2.1 二維影像應用於工程 11
2.2.2 三維影像應用於工程 12
2.2.3 小結 15
第三章 研究方法 16
3.1 利用掌上型SLAM掃描儀提取三維點雲 16
3.1.1 應用設備——GeoSLAM ZEB-REVO掃描儀 16
3.1.2 神經網路架構介紹——PointNet 18
3.1.3 PointNet和功能 18
3.1.4 PointNet的dataset 19
3.1.5 PointNet的神經網路架構 20
3.1.6 遷移學習(Transfer Learning) 21
3.2 TensorFlow介紹 21
3.2.1 TensorFlow的特點 22
3.2.2 TensorFlow的發展歷程 23
3.2.3 TensorFlow對與本研究的關係 23
3.3 識別質量評估 24
3.3.1 混淆矩陣(Confusion Matix) 24
3.3.2 F-measure 25
3.4 面積計算與進度評估 25
第四章 研究實作 28
4.1 實際案例掃描——淡江大學守謙大樓 28
4.2 點雲資料處理 29
4.2.1 點雲檔案格式說明 29
4.2.2 去除噪點 31
4.2.3 點雲切割 31
4.3 使用PointNet 33
4.3.1 流程圖 33
4.3.2 PointNet測試資料與守謙大樓測試 34
4.3.3 修改訓練資料為無色 39
4.3.4 改傢俱的標籤 41
4.3.5 加上法向量資訊 43
4.3.6 修改訓練窗戶資料 45
4.3.7 改善數據不平衡 47
4.4 遷移學習 50
4.4.1 遷移學習的過程 50
4.4.2 遷移學習的結果 52
4.5 問題討論 57
4.5.1 點雲數據集 57
4.5.2 設備與時間 59
4.6 將結果應用物件識別與數量計算 60
4.6.1 工地現場模擬 60
4.6.2 數量計算 62
4.6.3 元件數量計算 63
4.7 進度更新之應用 64
第五章 結論與建議 66
5.1 結論 66
5.2 建議 66
參考文獻 68
附錄 73

圖目錄
圖2- 1 三維雷射掃描儀——單測站掃描示意圖 5
圖2- 2 三維雷射掃描儀——多測站拼接示意圖 5
圖2- 3雷射SLAM Sensor 6
圖2- 4 VSLAM常見的Sensor 6
圖2- 5設備移動軌跡(Cole, 2006) 7
圖2- 6閉環檢測(Cole, 2006) 7
圖2- 7 卷積神經網絡架構圖(Krizhevsky, 2012) 10
圖2- 8 照片生成的點雲 12
圖2- 9 使用書本和安全帽模擬現場每日更新進度(Zhang, 2013) 13
圖2- 10提取管线(Patil, 2017) 13
圖2- 11提取後重建模型(Patil, 2017) 13
圖2- 12該研究對XYZ平面的檢測 14
圖3- 1 流程圖 16
圖3- 2 GeoSLAM ZEB-REVO 17
圖3- 3掌上型SLAM掃描作業 17
圖3- 4 PointNet的應用(Charles R. Qi, 2017) 18
圖3- 5點雲的輸入無序性 19
圖3- 6點雲平移&旋轉不變性 19
圖3- 7 PointNet 神經網路架構(Charles R. Qi, 2017) 20
圖3- 8 傳統深度學習 (a)和遷移學習(b)之間的差異 21
圖3- 9 三維影像辨識與TensorFlow的關係 24
圖3- 10 計算法向量並轉成Mesh 26
圖3- 11 Mesh模型自動算體積 26
圖3- 12該點雲計算面積為66.3114 平方公尺 26
圖4- 1守謙大樓外觀圖 28
圖4- 2 WiFi接收掃描進程 29
圖4- 3守謙大樓掃描結果圖(局部) 29
圖4- 4守謙大樓完整三維點雲模型 29
圖4- 5原始點雲數據表示方式 30
圖4- 6框線以外區域為雜訊 31
圖4- 7人工刪除多餘雜訊 31
圖4- 8手動切割示意圖 32
圖4- 9手動切割檔案後生成測試檔案 33
圖4- 10 PointNet測試與優化流程圖 34
圖4- 11數據預處理——加標籤 35
圖4- 12數據預處理——房間物件合併 35
圖4- 13所有資料壓縮成25個 .h5壓縮檔 36
圖4- 14大走廊(辨識率63%)辨識結果示意圖 36
圖4- 15 Accuracy——直接使用PointNet 38
圖4- 16 F-measure——直接使用PointNet 38
圖4- 17修改訓練資料為無色點雲 39
圖4- 18 Accuracy——訓練資料為無色 40
圖4- 19 F-measure——訓練資料為無色 40
圖4- 20 Accuracy——改傢俱標籤 42
圖4- 21 F-measure——改傢俱標籤 42
圖4- 22法向量可視化示意圖 43
圖4- 23 Accuracy——加上法向量資訊 44
圖4- 24 F-measure——加法向量資訊 44
圖4- 25兩個dataset的窗戶對比圖 45
圖4- 26只剪去玻璃部分，不改變空間位置 46
圖4- 27 Accuracy——修改訓練窗戶資料 46
圖4- 28 F-measure——修改訓練窗 47
圖4- 29 Accuracy——改善Unbalanced Data 49
圖4- 30 F-measure——改善data unbalance 49
圖4- 31深度學習和遷移學習的關係 51
圖4- 32遷移學習——天花板的F-measure 53
圖4- 33遷移學習——樓板的F-measure 53
圖4- 34遷移學習——牆的F-measure 54
圖4- 35遷移學習——樑的F-measure 54
圖4- 36遷移學習——柱的F-measure 55
圖4- 37遷移學習——窗的F-measure 55
圖4- 38遷移學習——門的F-measure 56
圖4- 39遷移學習——雜物的F-measure 56
圖4- 40硬體設備截圖 59
圖4- 41守謙BIM3樓與點雲3樓區域 61
圖4- 42修剪去無法掃描到的部分 61
圖4- 43天花板下降85公分示意圖 61
圖4- 44 BIM模型面積示意圖 62
圖4- 45模板面積計算結果 63
圖4- 46門的物件識別和計算 63
圖4- 47窗的物件識別和計算 64
圖4- 48兩扇門的辨識結果 64
圖4- 49辨識結果俯視圖 64
圖4- 50裝修工程之甘特圖 65

表目錄
表2- 1 常見的SLAM掃描方法比較與選擇 6
表2- 2 SLAM與地面三維雷射掃描儀的對比 7
表 3- 1 2D-3D-S資料集點雲元件個數與點個數表 20
表 3- 2 識別質量評估方式 25
表4- 1 點雲TXT檔案欄位說明 30
表4- 2 所有測試區域 32
表4- 3 元件可視化顏色對照表 37
表4- 4 訓練標籤修改 41
表4- 5 點雲數量統計 48
表4- 6 遷移學習說明表 52
表4- 7守謙大樓測試數據集詳細信息 58
表4- 8 守謙大樓遷移學習訓練集(TL-守謙 dataset)詳細信息 58
表4- 9 運行時長記錄表 60
表4- 10 應用深度學習可以判斷下列工期是否如期完成 65

[1]Angeli, A., Doncieux, S., Meyer, J. A., & Filliat, D. (2008). Real-time visual loop-closure detection. In International Conference on Robotics and Automation (pp. 1842-1847).
[2]Angeli, A., Filliat, D., Doncieux, S., & Meyer, J. A. (2008). Fast and incremental method for loop-closure detection using bags of visual words. IEEE Transactions on Robotics, 24(5), 1027-1037．
[3]Armeni, I., Sax, S., Zamir, A. R., & Savarese, S. (2017). Joint 2D-3D-Semantic Data for Indoor Scene Understanding. arXiv preprint arXiv: 1702.01105.
[4]Babacan, K., Chen, L., & Sohn, G. (2017). SEMANTIC SEGMENTATION OF INDOOR POINT CLOUDS USING CONVOLUTIONAL NEURAL NETWORK. ISPRS Annals of Photogrammetry, Remote Sensing & Spatial Information Sciences, 4.
[5]Braun, A., Tuttas, S., Borrmann, A., & Stilla, U. (2015). A concept for automated construction progress monitoring using BIM-based geometric constraints and photogrammetric point clouds. Journal of Information Technology in Construction (ITcon), 20(5), 68-79.
[6]Brenneke, C., Wulf, O., & Wagner, B. (2003). Using 3d laser range data for slam in outdoor environments. In Intelligent Robots and Systems, 2003.(IROS 2003). Proceedings. 2003 IEEE/RSJ International Conference on , 188-193.
[7]Chang, K. T., Chang, J. R., & Liu, J. K. (2005). Detection of pavement distresses using 3D laser scanning technology. In Computing in Civil Engineering (2005), 1-11.
[8]Chawla, N. V., Japkowicz, N., & Kotcz, A. (2004). Special issue on learning from imbalanced data sets. ACM Sigkdd Explorations Newsletter, 6(1), 1-6.
[9]Cole, D. M., & Newman, P. M. (2006). Using laser range data for 3D SLAM in outdoor environments. In Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conference on (pp. 1556-1563). IEEE.
[10]Cole, L., Austin, D., & Cole, L. (2004). Visual object recognition using template matching. In Australian conference on robotics and automation.
[11]Czerniawski, T., Sankaran, B., Nahangi, M., Haas, C., & Leite, F. (2018). 6D DBSCAN-based segmentation of building point clouds for planar object classification. Automation in Construction, 88, 44-58.
[12]Dewez, T. J., Plat, E., Degas, M., Richard, T., Pannet, P., Thuon, Y., ... & Dian, G. (2016, September). Handheld Mobile Laser Scanners Zeb-1 and Zeb-Revo to map an underground quarry and its above-ground surroundings. In Virtual Geosciences Conference (VGC2016) , 22-23.
[13]Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences, 55(1), 119-139.
[14]Haala, N., & Brenner, C. (1999). Extraction of buildings and trees in urban environments. ISPRS Journal of Photogrammetry and Remote Sensing, 54(2-3), 130-137.
[15]Hamledari, H., McCabe, B., & Davari, S. (2017). Automated computer vision-based detection of components of under-construction indoor partitions. Automation in Construction, 74, 78-94.
[16]Han, K. K., & Golparvar-Fard, M. (2017). Potential of big visual data and building information modeling for construction performance analytics: An exploratory study. Automation in Construction, 73, 184-198.
[17]Kolar, Z., Chen, H., & Luo, X. (2018). Transfer learning and deep convolutional neural networks for safety guardrail detection in 2D images. Automation in Construction, 89, 58-70.
[18]Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, 1097-1105.
[19]Labbe, M., & Michaud, F. (2013). Appearance-based loop closure detection for online large-scale and long-term operation. IEEE Transactions on Robotics, 29(3), 734-745.
[20]Lin, F., Liang, D., & Chen, E. (2011). Financial ratio selection for business crisis prediction. Expert Systems with Applications, 38(12), 15094-15102
[21]Liu, Y., & Zhang, H. (2012, May). Indexing visual features: Real-time loop closure detection using a tree structure. In Robotics and Automation (ICRA), 2012 IEEE International Conference on, 3613-3618.
[22]Navon, R. (2007). Research in automated measurement of project performance indicators. Automation in Construction, 16(2), 176-188.
[23]Nocerino, E., Menna, F., Remondino, F., Toschi, I., & Rodríguez-Gonzálvez, P. (2017). Investigation of indoor and outdoor performance of two portable mobile mapping systems. In Videometrics, Range Imaging, and Applications XIV (Vol. 10332, p. 103320I). International Society for Optics and Photonics.
[24]Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on knowledge and data engineering, 22(10), 1345-1359.
[25]Patil, A. K., Holi, P., Lee, S. K., & Chai, Y. H. (2017). An adaptive approach for the reconstruction and modeling of as-built 3D pipelines from point clouds. Automation in Construction, 75, 65-78.
[26]Png, L. C. (2013). Morphological Shared-Weight Neural Network For Face Recognition. LAP LAMBERT Academic Publishing .
[27]Poh, Clive. Q., Ubeynarayana, Chalani. U., & Goh, Y. M. (2018). Safety leading indicators for construction sites: A machine learning approach. Automation in Construction.
[28]Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017). PointNet: Deep learning on point sets for 3d classification and segmentation. Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 1(2), 4.
[29]Qi, C. R., Yi, L., Su, H., & Guibas, L. J. (2017). PointNet++: Deep hierarchical feature learning on point sets in a metric space. In Advances in Neural Information Processing Systems (pp. 5105-5114).
[30]Richard Szeliski, Xing Junliang, 2012, Computer Vision Algorithm and Application [M]. Beijing: Tsinghua University Press.2012
[31]Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S. & Berg, A. C. (2015). Imagenet large scale visual recognition challenge. International Journal of Computer Vision, 115(3), 211-252 .
[32]Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S.& Berg, A. C. (2015). Imagenet large scale visual recognition challenge. International Journal of Computer Vision, 115(3), 211-252 .
[33]Soodamani, R., & Liu, Z. Q. (2000). GA-based learning for a model-based object recognition system. International Journal of Approximate Reasoning, 23(2), 85-109.
[34]Yang, J., Shi, Z., & Wu, Z. (2016). Vision-based action recognition of construction workers using dense trajectories. Advanced Engineering Informatics, 30(3), 327-336.
[35]Zhang, C., & Arditi, D. (2013). Automated progress control using laser scanning technology. Automation in construction, 36, 108-116.
中文文獻:
[36]王斌弘. (2006).空間點雲形態導向之建築工程監督與管理. 國立台灣科技大學建築系博士論文. 1-45.
[37]何海群. (2017).零起點TensorFlow快速入門.北京: 電子工業出版社.
[38]李其真. (2014). 基於資料庫影像與RGB-D相機影像之同步定位與建圖. 國立臺灣科技大學. 機械工程系碩士學位元論文. 1-61.
[39]周宏達. (2001). 以最小二乘法進行參數式模型與影像之最佳套合. 國立成功大學測量工程研究所碩士論文. 12-25.
[40]林志交. (2002). 基因演算法於模型影像套合計算之應用. 碩士論文. 國立成功大學測量工程學系. 1-119.