跳到主要內容

臺灣博碩士論文加值系統

(44.200.86.95) 您好!臺灣時間:2024/05/18 12:15
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:蔡宜婕
研究生(外文):Yi-Chieh Tsai
論文名稱:適用於HEVC快速編碼器之TU提早決策演算法
論文名稱(外文):An Early TU Decision Algorithm for Fast High Efficiency Video Coding (HEVC) Encoder
指導教授:王周珍謝東宏謝東宏引用關係
指導教授(外文):Chou-Chen WangTung-Hung Hsieh
口試委員:王周珍謝東宏黃克穠吳俊霖陳文淵
口試委員(外文):Chou-Chen WangTung-Hung HsiehKe-Nung HuangJiunn-Lin WuWen-Yuan Chen
口試日期:2013-07-09
學位類別:碩士
校院名稱:義守大學
系所名稱:電子工程學系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2013
畢業學年度:101
語文別:中文
論文頁數:139
相關次數:
  • 被引用被引用:0
  • 點閱點閱:1526
  • 評分評分:
  • 下載下載:63
  • 收藏至我的研究室書目清單書目收藏:0
隨著電子科技的迅速發展,4K*2K以上的超高解析度面板將成為大尺寸電視的主流規格,但現今的H.264視訊標準無法直接應用在超高解析度的視訊服務。因此,視訊編碼共同合作團隊(JCT-VC)於2010年開始制定最新一代的高效率視訊編碼(high efficiency video coding: HEVC)標準,來支援超高解析度和超高畫質(UHD)的視訊壓縮,並於今年(2013/01/25)正式公布HEVC視訊標準。在相同的視訊品質下,HEVC的編碼效能比H.264提高近50%,為了達到此目的,HEVC採用更彈性的編碼單位,分別為編碼單位(coding unit: CU)、預測單位(prediction unit: PU)和轉換單位(transform unit: TU)三個模組。其中CU與TU分別採用深度為4(Depth = 4)的編碼四分樹(coding quad-tree)和深度為3(Depth = 3)的差值四分樹(residual quad-tree: RQT)來進行視訊分割與編碼,PU則是隨著CU尺寸與預測模式的不同而改變,因此編碼時各模組可根據影像的複雜度做調整,來得到最佳的編碼效益。雖然HEVC能有效的提升視訊編碼效能,但運算複雜度也大幅增加,以至於無法達到即時(real-time)的視訊應用。
為了解決HEVC編碼器中龐大運算量的問題,除了加速PU模組中畫框間/畫框內預測(inter/intra prediction)編碼時間外,TU模組之提早決策演算法(early TU decision algorithm: ETDA)是另一重要加速的方法。最近Chio et al.藉由判斷RQT中非零DCT係數的數量(number of nonzero DCT coefficients: NNZ)提出NNZ-ETDA演算法來加速TU模組的編碼時間[15]。雖然NNZ-ETDA能有效的降低TU模組的運算負載,但對於視訊內容複雜而導致NNZ變多的影像序列,NNZ-ETDA將無法有效降低TU的運算量。為了進一步改良NNZ-ETDA演算法之效能,本論文利用視訊的高時空關聯(temporal-spatial correlation)的特性,來提出一個適應性RQT深度之NNZ-ETDA演算法(adaptive RQT depth for NNZ-ETDA: ARD-NNZ-ETDA)。論文所提ARD-NNZ-ETDA演算法,首先利用待編影像區塊(current CU)在時間和空間鄰近已編碼區塊的RQT深度,來預測待編區塊的深度,縮減TU模組的RQT運算深度,接著再利用NNZ-ETDA來進一步降低TU模組的運算量,加速TU模組的編碼時間。
由實驗結果可以發現,在不同的QP下,論文所提ARD-NNZ-ETDA比HEVC(HM8.1)減少約63.05% ~ 84.37%之TU模組的運算數量,時間改善率(time improving ratio: TIR)高達61.26% ~ 81.48%。當論文所提ARD-NNZ-ETDA與NNZ-ETDA[15]比較時,TU模組的運算數量可再減少約9.94% ~ 9.08%,時間改善率(TIR)則可再增加約8.29% ~ 17.92%。此外,論文所提ARD-NNZ-ETDA除了能進一步加速NNZ-ETDA編碼時間外,更可以獲得和HEVC幾乎一樣的解碼影像品質。
With the rapid development of electronic technology, the panels of 4K*2K (or 8K*4K) high-resolution will become the main specification of large size digital TV in future. However, the current H.264 video coding standard can’t support the video applications of high definition (HD) and ultrahigh definition (UHD) resolution. Therefore, the JCT-VC began to develop a new high efficiency video coding (HEVC) for video compression standard to satisfy the UHD requirement in January 2010, and the first version of HEVC was finalized by JCT-VC in January 2013. HEVC can achieve 50% bit rate reduction when compared with the H.264 with the same video quality. This is because the HEVC adopts some new coding structures including coding unit (CU), prediction unit (PU) and transform unit (TU). The CU can be split by coding quad-tree structure of Depth = 4 and the TU can be split by residual quad-tree (RQT) of Depth = 3, separately. The optimal partitions of PU are according to the different prediction modes. The HEVC can achieve the highest coding efficiency but requires a very high computational complexity such that its real-time application is limited.
In order to reduce the computational complexity of HEVC encoder, there are many fast encoding methods to speed up the PU modules. Besides, the early TU decision algorithm (ETDA) is another method to reduce the encoding complexity. Recently, Chio et al. proposed a new ETDA by determining the number of nonzero DCT coefficients (NNZ) of RQT (called NNZ-EDTA) to accelerate the encoding process of TU [15]. However, the NNZ-ETDA can’t effectively reduce the computational load for sequences with active motion or rich texture. Therefore, to further improve the performance of NNZ-ETDA, we propose an adaptive RQT depth for NNZ-ETDA (called ARD-NNZ-ETDA) by exploiting the characteristics of high temporal-spatial correlation in natural video sequences. First, we predict the depth of RQT by using temporal and spatial neighboring blocks, and then combine the NNZ-ETDA to further reduce the computational load.
The simulation results show that the proposed algorithm can achieve an average time improving ratio (TIR) about 61.26% ~ 81.48% and reduce the processing times of TU about 63.05% ~ 84.37%, when compared to HEVC(HM8.1). Compared with NNZ-ETDA, the proposed algorithm can achieve an average TIR about 8.29% ~ 17.92% and reduce the processing times of TU about 9.94% ~ 19.08%. It is clear that the proposed method can efficiently reduce the computational complexity with insignificant loss of image quality.
目 錄
摘要 i
英文摘要 iii
誌謝 v
目錄 vi
圖目錄 ix
表目錄 xiii
第一章 緒論 1
1.1 研究背景 2
1.2 研究動機 4
1.3 論文架構 4
第二章 HEVC視訊編碼標準介紹 6
2.1 HEVC視訊編碼發展概況 6
2.1.1 視訊編碼標準演進 6
2.1.2 HEVC VS. H.264 8
2.1.3 HEVC編碼架構 9
2.1.4 HEVC規範與環境設置 12
2.2 基本編碼單位 18
2.2.1 編碼單位(coding unit: CU) 18
2.2.2 預測單位(prediction unit: PU) 23
2.2.3 轉換單位(transform unit: TU) 26
2.2.4 掃描順序(Scan order) 29
2.3 HEVC視訊編碼工具 30
2.3.1 畫框內預測(Intra prediction) 33
2.3.2 畫框間預測(Inter prediction) 37
2.3.3 轉換與量化(Transform and Quantization) 41
第三章 差值四分樹(RQT) 45
3.1 RQT架構簡介 45
3.2 Intra RQT 51
3.3 Inter RQT 51
3.4 RQT運算量分析 53
第四章 TU提早決策演算法 55
4.1 NNZ-ETDA 55
4.2 NNZ-ETDA實驗結果與討論 66
第五章 適應性RQT深度之TU提早決策演算法 73
5.1 適應性RQT深度範圍決策演算法 74
5.1.1 鄰近區塊間TU關聯性之分析與探討 75
5.1.2 適應性RQT深度範圍決策演算法架構 79
5.1.3 深度範圍預測準確度分析 87
5.2 適用於HEVC快速編碼器之TU提早決策演算法 89
第六章 實驗結果與討論 92
6.1 實驗條件 92
6.2 實驗結果與分析 97
第七章 結論 118
參考文獻 120

圖目錄
圖 1.1、各視訊面板與影像資訊量以及適用之視訊編碼標準對應圖 2
圖 1.2、Forman影像序列在各式訊壓縮標準之效能比較圖 3
圖 1.3、適用於HEVC之各視訊解析度示意圖 3
圖 2.1、視訊編碼演進時序圖 7
圖 2.2、HEVC系統框架圖 10
圖 2.3、HEVC編碼系統架構圖 10
圖 2.4、相較於HEVC,其他的JPEG圖像編碼方式的位元率比較圖 11
圖 2.5、HEVC(Main profile)與H.264(High profile)之效能比較圖 13
圖 2.6、All Intra編碼時序結構 13
圖 2.7、Low Delay編碼時序結構 14
圖 2.8、Random Access編碼時序結構 15
圖 2.9、Slice劃分示意圖 17
圖 2.10、Tiles劃分示意圖 17
圖 2.11、WPP劃分示意圖 17
圖 2.12、HEVC與H.264於序列RaceHorsesC的基本單位劃分表示圖 19
圖 2.13、為CTU中的CU尺寸與深度對應圖 20
圖 2.14、HEVC中決定CTU內的CU結構之示意圖 20
圖 2.15、CTU位置代號示意圖與四分樹結構範例 22
圖 2.16、BasketballPass序列中第8張影像的最佳CU劃分 22
圖 2.17、H.264預測單位劃分示意圖 24
圖 2.18、HEVC各預測模式與PU尺寸之關係圖 24
圖 2.19、BasketballPass序列中第8張影像的最佳PU劃分 25
圖 2.20、個基本單位之深度與尺寸對應圖 26
圖 2.21、最終TU劃分示意圖 27
圖 2.22、HEVC各基本單位之關係圖 28
圖 2.23、HEVC編碼過程中決定各種單位尺寸之示意圖 28
圖 2.24、掃描方式示意圖 29
圖 2.25、編碼序列示意圖 32
圖 2.26、CTU中的編碼方塊圖 32
圖 2.27、畫框內預測利用以編之鄰近區塊預測當前區塊 33
圖 2.28、HEVC畫框內預測之33個方向的角度對應圖 34
圖 2.29、HEVC畫框內預測之預測模式編號與角度對應關係 35
圖 2.30、HEVC畫框內預測中DC與Planar預測模式示意圖 36
圖 2.31、畫框間預測示意圖 37
圖 2.32、MVP預測模式示意圖 39
圖 2.33、AMVP示意圖[12] 39
圖 2.34、影像於Merge前與Merge後之區塊劃分示意圖[11] 40
圖 2.35、HEVC對應各TU尺寸之轉換矩陣 43
圖 3.1、vidyo1序列中畫面差值示意圖[23] 46
圖 3.2、各CU尺寸所對應之RQT結構示意圖 48
圖 3.3、RQT結構中cost運算與比較之順序示意圖 49
圖 3.4、BasketballPass第八張畫面中CUA最佳TU劃分與RQT示意圖 50
圖 3.5、Intra RQT結構示意圖 52
圖 3.6、Inter RQT結構示意圖 52
圖 3.7、Intra frames的某個CTU於RQT結構中計算RDcost次數之示意圖 54
圖 3.8、Inter frames的某個CTU於RQT結構中計算RDcost次數之示意圖 54
圖 4.1、3232的CU最終TU劃分結構圖及RQT樹狀圖 57
圖 4.2、NNZ示意圖 57
圖 4.3、HM8.1中RQT模組之流程圖 63
圖 4.4、將NNZ-ETDA架構在HM8.1上的流程圖 65
圖 4.5、PeopleOnStreet相較於HM8.1,NNZ-ETDA之TU個數刪減率示意圖 70
圖 4.6、ParkScene相較於HM8.1,NNZ-ETDA之TU個數刪減率示意圖 70
圖 4.7、BQTerrace相較於HM8.1,NNZ-ETDA之TU個數刪減率示意圖 70
圖 5.1、時間與畫面間的關係圖 74
圖 5.2、RQT最深深度示意圖 76
圖 5.3、BasketballPass畫面間相關性之示意圖 76
圖 5.4、RaceHorsesC畫面間相關性之示意圖 76
圖 5.5、當前CTU與鄰近可供參考CTU之位置示意圖 77
圖 5.6、鄰近參考樣本的相對位置與權重分配示意圖 81
圖 5.7、當分類為Type 0時,各CU尺寸所對應的RQT過程之示意圖 83
圖 5.8、當分類為Type 1時,各CU尺寸所對應的RQT過程之示意圖 83
圖 5.9、ARDRDA架構於HM8.1中求得限制範圍之流程圖 85
圖 5.10、ARDRDA架構於HM8.1中利用限制範圍執行RQT模組之流程圖 86
圖 5.11、ARD-NNZ-ETDA演算法之示意圖 90
圖 5.12、ARD-NNZ-ETDA之RQT模組的流程圖 91
圖 6.1、實驗測試序列(ClassA) 94
圖 6.2、實驗測試序列(ClassB1) 95
圖 6.3、實驗測試序列(ClassB2) 96
圖 6.4、PeopleOnStreet相較於HM8.1,所提方法之TU個數刪減率示意圖 102
圖 6.5、ParkScene相較於HM8.1,所提方法之TU個數刪減率示意圖 102
圖 6.6、BQTerrace相較於HM8.1,所提方法之TU個數刪減率示意圖 102
圖 6.7、PeopleOnStreet相較於NNZ-ETDA,所提方法之TU個數刪減率示意圖 105
圖 6.8、ParkScene相較於NNZ-ETDA,所提方法之TU個數刪減率示意圖 105
圖 6.9、BQTerrace相較於NNZ-ETDA,所提方法之TU個數刪減率示意圖 105
圖 6.10、PeopleOnStreet,QP = 22,編碼畫面與TU個數統計圖 106
圖 6.11、Kimono,QP = 22,編碼畫面與TU個數統計圖 106
圖 6.12、ParkScene,QP = 22,編碼畫面與TU個數統計圖 107
圖 6.13、BQTerrace,QP = 22,編碼畫面與TU個數統計圖 107
圖 6.14、Traffic劃分TU時所耗時間示意圖 113
圖 6.15、PeopleOnStreet劃分TU時所耗時間示意圖 113
圖 6.16、Kimono劃分TU時所耗時間示意圖 114
圖 6.17、ParkScene劃分TU時所耗時間示意圖 114
圖 6.18、Cactus劃分TU時所耗時間示意圖 115
圖 6.19、BasketballDrive劃分TU時所耗時間示意圖 115
圖 6.20、BQTerrace劃分TU時所耗時間示意圖 116
圖 6.21、QP = 32,BasketballDrill第132張重建影像 117


表目錄
表 2.1、HEVC與H.261之差異比較表 8
表 2.2、HEVC規格表 11
表 2.3、HEVC畫框內預測之預測模式編號與角度對應表 35
表 2.4、HEVC畫框內預測之PU尺寸與候選人個數對應表 36
表 2.5、QP與QStep的對照表 44
表 3.1、各CU於RQT結構中所支援之TU尺寸對照表 48
表 3.2、各CU所支援的RQT結構中的TU節點個數對照表 48
表 4.1、BasketballDrive序列所測得之條件機率 58
表 4.2、Traffic序列所測得之條件機率 58
表 4.3、PeopleOnStreet序列所測得之條件機率 59
表 4.4、Kimono序列所測得之條件機率 59
表 4.5、ParkScene序列所測得之條件機率 60
表 4.6、Cactus序列所測得之條件機率 60
表 4.7、BasketballDrive序列所測得之條件機率 61
表 4.8、BQTerrace序列所測得之條件機率 61
表 4.9、QP = 22,於RQT結構中需運算之TU總數比較表 68
表 4.10、QP = 27,於RQT結構中需運算之TU總數比較表 68
表 4.11、QP = 32,於RQT結構中需運算之TU總數比較表 69
表 4.12、QP = 37,於RQT結構中需運算之TU總數比較表 69
表 4.13、QP = 22,HM8.1與NNZ-ETDA之Bitrate、PSNR以及時間比較表 71
表 4.14、QP = 27,HM8.1與NNZ-ETDA之Bitrate、PSNR以及時間比較表 71
表 4.15、QP = 32,HM8.1與NNZ-ETDA之Bitrate、PSNR以及時間比較表 72
表 4.16、QP = 37,HM8.1與NNZ-ETDA之Bitrate、PSNR以及時間比較表 72
表 5.1、QP = 22,鄰近與待編碼CTU的RQT最深深度相同的機率 77
表 5.2、QP = 27,鄰近與待編碼CTU的RQT最深深度相同的機率 77
表 5.3、QP = 32,鄰近與待編碼CTU的RQT最深深度相同的機率 78
表 5.4、QP = 37,鄰近與待編碼CTU的RQT最深深度相同的機率 78
表 5.5、與鄰近CTU之RQT深度相同之正規化機率整理表 81
表 5.6、各Type所對應之臨界值設定與RQT範圍深度及TU尺寸對應表 81
表 5.7、QP = 22,各Type所對應的RQT深度之準確度分析 87
表 5.8、QP = 27,各Type所對應的RQT深度之準確度分析 88
表 5.9、QP = 32,各Type所對應的RQT深度之準確度分析 88
表 5.10、QP = 37,各Type所對應的RQT深度之準確度分析 88
表 6.1、類別與影像序列之對照表 93
表 6.2、QP = 22,HM8.1與所提方法需進行運算之TU個數比較表 100
表 6.3、QP = 27,HM8.1與所提方法需進行運算之TU個數比較表 100
表 6.4、QP = 32,HM8.1與所提方法需進行運算之TU個數比較表 101
表 6.5、QP = 37,HM8.1與所提方法需進行運算之TU個數比較表 101
表 6.6、QP = 22,NNZ-ETDA與所提方法需進行運算之TU個數比較表 103
表 6.7、QP = 27,NNZ-ETDA與所提方法需進行運算之TU個數比較表 103
表 6.8、QP = 32,NNZ-ETDA與所提方法需進行運算之TU個數比較表 104
表 6.9、QP = 37,NNZ-ETDA與所提方法需進行運算之TU個數比較表 104
表 6.10、QP = 22,HM8.1與所提方法之Bitrate、PSNR及時間比較表 108
表 6.11、QP = 27,HM8.1與所提方法之Bitrate、PSNR及時間比較表 108
表 6.12、QP = 32,HM8.1與所提方法之Bitrate、PSNR及時間比較表 109
表 6.13、QP = 37,HM8.1與所提方法之Bitrate、PSNR及時間比較表 109
表 6.14、QP = 22,NNZ-ETDA與所提方法之Bitrate、PSNR及時間比較表 110
表 6.15、QP = 27,NNZ-ETDA與所提方法之Bitrate、PSNR及時間比較表 110
表 6.16、QP = 32,NNZ-ETDA與所提方法之Bitrate、PSNR及時間比較表 111
表 6.17、QP = 37,NNZ-ETDA與所提方法之Bitrate、PSNR及時間比較表 111
表 6.18、HM8.1、NNZ-ETDA與所提方法之平均TU個數刪減率整理表 112
表 6.19、HM8.1、NNZ-ETDA與所提方法之平均時間改善率整理表 112
[1]Ohm. J, W. J. Han, W. T, “Overview of the High Efficiency Video Coding (HEVC) Standard”, IEEE Trans. Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1649- 1668, Dec. 2012
[2]T. Wiegand, G. J. Sullivan, G. Bjontegaard and A. Luthra, “Overview of the H.264/AVC video coding standard,” IEEE Trans. Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 560-576, July 2003
[3]“Information technology ─ Coding of audio-visual objects ─ Part 10: advanced video coding, final draft international standard,” ISO/IEC FDIS 14496-10, Dec. 2003
[4]“Recommendation H.261 ─ Video codec for audiovisual services at p×64 Kbits/s,” CCITT SG XV, COM XV-R37-E, 1990
[5]“Information technology ─ Generic coding of moving picture and associated audio information ─ Part 2: Video,” ISO/IEC FDIS 13818-2, MPEG-2 1994
[6]K. U, J. L(Nokia), “Updated results on HEVC still picture coding performance,” JCT-VC Document,JCTVC-M0041, Apr. 2013
[7]B. B, W. J. Han, J. R. Ohm, G. J. Sullivan, Y.-K. Wang and T. W, “High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent),”JCT-VC Document,JCTVC-J1003 , May. 2013
[8]Website of MPEG Resource Share Project, Slide of “Talk on Standard Status,” Jan. 2011
[9]B. Li, G. J. Sullivan, J. Xu, “Comparison of Compression Performance of HEVC Draft 10 with AVC High Profile,” JCT-VC Document,JCTVC-M0329, Apr. 2013
[10]H. P, Oudin. S, B. B, M. D, B. M.O, U. K, Jung. J, Clare. G, Wiegand. T, “Block Merging for Quadtree-Based Partitioning in HEVC,” IEEE Trans. Circuits and Systems for Video Technology,vol. 22 no. 12, pp. 1720- 1731, Dec. 2012
[11]Website of Fraunhofer Heinrich Hertz Institute http://www.nabanet.com/wbuarea/library/docs/isog/presentations/2012B/2.4%20Bross%20HHI.pdf
[12]MPEG資源共享網站, http://mapl.nctu.edu.tw/sample/MPEG/MainDir/mpeg_share.html
[13]L. S, Z. Liu, X. Zhang, W. Zhao, Z. Zhang, “An effective CU size decision method for HEVC encoders,” IEEE Trans. on Multimedia, vol. 15, no. 2, pp. 465- 470, Feb. 2013
[14]Cho. S, Kim. M, “Fast CU Splitting and Pruning for Suboptimal CU Partitioning in HEVC Intra Coding,” IEEE Trans. Circuits and Systems for Video Technology, vol. PP no. 99, pp. 1, Feb. 2013
[15]Kiho Choi and Euee S. Jang, “Early TU decision method for fast video encoding in high efficiency video coding,” IEEE Electronics Letters., vol. 48, no. 12, pp. 689- 691, Jun. 2012
[16]JCT-VC, “Common test conditions and software reference configurations,” JCTVC-E700, Joint Collaborative Team on Video Coding (JCT-VC) 5th Meeting: Geneva, CH, 16–23 March, 2011
[17]Reference software HM8.1, https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/branches/
[18]B. B, W. J. Han, J. R. Ohm, G. J. Sullivan and T. W, “High Efficiency Video Coding (HEVC) text specification draft 8,”JCT-VC Document,JCTVC-J1003, Jul. 2012
[19]洪昌義,編著“H.264和HEVC中B畫面直接模式決策之研究”,國立中央大學通訊工程研究所碩士論文,中華民國一百零一年七月
[20]呂彥霖,編著“低複雜度嵌入式 H.264編碼器和DSP之實現”,義守大學電子工程學系碩士論文,中華民國一百年七月
[21]曾琪騰,編著“H.264至HEVC畫面間預測之轉換編碼研究”,中央大學通訊工程研究所碩士論文,中華民國一百零一年
[22]陳鶴元,編著“HEVC之高效率編碼單位深度和預測單位模式快速決策演算法”,中央大學通訊工程研究所碩士論文,中華民國一百零一年
[23]鄧書緯,編著“Fast Mode Decision Algorithm for HEVC Residual Quadtree Coding,”,交通大學電子研究所碩士論文,中華民國一百零一年
[24]楊智宇,編著“A Fast Inter Residual Quad-Tree Construction Method in HEVC”,成功大學電腦與通信工程研究所碩士論文,中華民國一百零一年
[25]蘇炳翰、蔡宜婕、王周珍,"適用於HEVC快速編碼器之TU提早決策演算法",2013電子工程研討會(ETS2013),高雄,2013.05全國性研討會
[26]林俊廷、莊宛穎、王周珍,"利用時空關聯性之HEVC快速視訊編碼器", 2013電子工程研討會(ETS2013),高雄,2013.05全國性研討會
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top