臺灣博碩士論文加值系統

本論文提出一快速H.264視訊編碼演算法，並且成功將H.264轉碼在BlackFin ADSP-BF548模擬板上，完成H.264編碼器的DSP硬體實現。H.264為了能達到更好的視訊壓縮品質，採用很多新的編碼技術，其中包括畫框內預測(intra frame prediction)、畫框間預測(inter frame prediction)、多重畫面預測(multiple frame prediction)、整數餘弦轉換(integer cosine transform: ICT)和適應性可變長度編碼(context-based adaptive variable-length code: CAVLC)等模組。由於畫框間預測模組採用可變區塊(variable block size)來進行預測，大小包含16×16、16×8、8×16、8×8、8×4、4×8和4×4等七種不同模式(mode)，來達到高品質及高壓縮率的目的，而此七種不同模式的運動估測(motion estimation: ME)，需要相當龐大的運算量，導致無法達到即時的視訊應用(real-time applications)。為了改善H.264編碼複雜度，本論文針對框間預測模組提出一快速決策模式演算法(fast mode decision algorithm: FMDA)，來加速H.264編碼的程序。接著，再進一步將所提快速H.264視訊編碼器嵌入到ADSP-BF548模擬板上，最後完成DSP硬體實現。
利用自然視訊在空間(spatial)和時間(temporal)上具有高區塊關聯(interblock correlation)的特性，論文所提FMDA選取前一張畫面相對位置(co-location)和鄰近4個已編碼區塊，優先作為當前區塊(current block)之候選預測模式(candidate prediction mode: CPM)，接著透過預設RDcost的臨界值(threshold)來終止模式決策的流程，提前結束框間預測編碼。
為了有效完成H.264視訊編碼器的DSP實現，首先必須進行模擬板記憶體的最佳化配置。因為外部記憶體L3(DDR-RAM)的運行速度較慢，所以我們將H.264編碼時所需預測模式(CPM)的資訊從L3 DDR-RAM直接配置到內部記憶體L2(SRAM)中，來更進一步的提高韌體的執行速度。最後，成功將所提快速H.264編碼器嵌入至ADSP-BF548模擬板上，並完成相關的視訊實驗與測試。
從不同影像序列的測試結果分析，我們可以發現所提FMDA比原始H.264 (JM11.0)在畫框間預測模組的時間改善率(time improving ratio: TIR)約31% ~ 62%。此外，論文所提快速H.264視訊編碼器的時間改善率(TIR)平均約為46%。另外實驗結果也顯示，本論文所提方法確實可大幅提升H.264編碼的效能和速度，適合直接應用於現今的消費性視訊產品上。

In the thesis, we propose a fast encoding algorithm for H.264, and further implement the proposed encoder on the ADSP-BF548 processor. In order to achieve high quality video under high compression rate, H.264 develops some new encoding modules including intra mode prediction, inter mode prediction, multiple reference frame prediction, integer cosine transform (ICT) and entropy coding. Since H.264 uses 7 variable block sizes (modes) ranging from 1616 to 44 in inter mode prediction module, the motion estimation (ME) with 7 modes needs very high computational complexity. On the other hand, we also can find that ME for inter mode prediction module consumes most encoding time from the statistical analysis of computation load for every module of H.264. Therefore, it is difficult for real-time implementation of H.264 encoders.
To reduce the complexity of inter mode prediction module, we propose a fast inter mode decision algorithm (FIMDA) that exploits the temporal and spatial correlation of natural video sequences to further reduce prediction modes. The coded co-located block of previous frame and four modes of neighboring coded blocks are considered as the good candidate modes of the current block. To determine whether a candidate mode of the block is good enough, the proposed FIMDA compute the RD cost and check the defaulted threshold to decide if terminate the prediction process.
In order to achieve the fast requirement of embedded H.264 encoder based on ADSP-BF548, we modify the allocated internal memory and optimize the source codes, separately. Firstly, the FIMDA of the directly applied to inter mode prediction module, and then we re-allocate the reference frame from L3 DDR-RAM to L2 SRAM to increase the speed of execution of ME module. Finally, we make use of direct memory access (DMA) and the default function of ADSP-BF548 to carry out program steps.
Experimental results show that the proposed FIMDA can achieve time improving ratio (TIR) approximately 31% ~ 62% when compared with the inter mode prediction module in H.264 (JM11.0) embedded in ADSP-BF548 with insignificant degradation of PSNR. In addition, the proposed fast H.264 video encoder using QCIF video can achieve TIR about 46% on average. It is obvious that the proposed embedded fast H.264 video encoder can be directly applied to consumer video applications.

摘要 i
ABSTRACT ii
誌 謝 v
目錄 vi
圖目錄 vii
表目錄 ix
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 論文架構 2
第二章 H.264視訊編碼標準介紹 4
2.1 視訊編碼標準演進 4
2.2 H.264規格與架構 6
2.3 H.264的編碼技術 7
2.4 H.264框內/框間預測之分析與探討 18
2.4.1框內預測演算法 18
2.4.2框間預測演算法 22
2.4.3複雜度分析與探討 28
第三章 H.264之快速框間決策模式演算法 29
3.1 框間預測模式相關性探討 29
3.2 快速框間預測模式演算法 32
3.3 FIMDA臨界值可調性研究 34
第四章 嵌入式H.264快速編碼器 43
4.1 DSP模擬板比較 43
4.2 ADSP-BF548模擬板 45
4.3嵌入式H.264快速編碼器 47
4.3.1 記憶體配置 47
第五章 實驗結果與討論 51
5.1 實驗參數與設定 51
5.2 實驗步驟 53
5.3實驗結果分析與比較 54
第六章 結論 63
參考文獻. 64
圖目錄 vii
圖 2. 1、視訊編碼標準演進時序圖 5
圖 2.2、Foreman之品質位元率效能曲線圖 5
圖 2. 3、H.264編碼系統架構圖 6
圖 2.4、空間中的關聯性示意圖 7
圖2.5、亮度預測方向示意圖 17
圖 2.6、亮度預測模式 17
圖2.7、彩度預測模式方向示意圖 22
圖 2.8、彩度預測模式 22
圖2.9、多重參考畫面示意圖 14
圖2.10、可變區塊大小示意圖 15
圖2.11、框內預測演算法之流程圖 20
圖2.12、luma_16×16模式決策流程圖 21
圖2.13、luma_4×4模式決策流程圖 33
圖2.14、16×16、16×8、8×16運動搜尋流程圖 25
圖2.15、8×8、8×4、4×8、4×4運動搜尋流程圖 26
圖2.16、PartitionMotionSearch流程圖 27
圖2.17、各模組運算複雜度百分比 28
圖 3.1、區塊的預測模式分佈圖 30
圖3.2、待編區塊與參考區塊的位置關係圖 31
圖3.3、FIMDA之簡單流程圖 33
圖3.4、三維R-D-T長條圖 39
圖3.5、INTER_TH與QP相對關係圖 40
圖3.6、FIMDA之流程 42
圖4.1、ADSP-BF548核心架構圖 46
圖4.2、ADSP-BF548模擬板 46
圖5.1、標準QCIF測試影像序列 52
圖5.2、Akiyo在JM 11.0 和FIMDA的時間週期曲線圖 57
圖5.3、Carphone在JM 11.0 和FIMDA的時間週期曲線圖 57
圖5.4、Foreman在JM 11.0 和FIMDA的時間週期曲線圖 58
圖5.5、Test在JM 11.0 和FIMDA的時間週期曲線圖 58
圖5.6、Akiyo在JM 11.0 和FIMDA的PSNRY表現比較 59
圖5.7、Carphone在JM 11.0 和FIMDA的PSNRY表現比較 59
圖5.8、Foreman在JM 11.0 和FIMDA的PSNRY表現比較 60
圖5.9、Test在JM 11.0 和FIMDA的PSNRY表現比較 60
圖5.10、Akiyo (frame 21)的PSNR和差值比較圖 61
圖5.11、Carphone (frame 18)的PSNR和差值比較圖 61
圖5.12、Foreman (frame 39)的PSNR和差值比較圖 62
圖5.13、Test (frame 61)的PSNR和差值比較圖 62
表目錄 ix
表3.1、與參考區塊相同預測模式之機率 31
表3.2、框間模式臨界值的微調模擬結果 34
表3.3、四種影像序列在不同臨界值的模擬結果 38
表3.4、不同QP的R-D效能表 40
表4.1、DSP模擬板比較表 44
表4.2、ADSP-BF548原始記憶體配置表 49
表4.3、ADSP-BF548記憶體重新配置表 50
表5.1、畫面群為IPPP之平均P畫面的時間週期改善率 55
表5.2、畫面群為8之平均P畫面的時間週期改善率 56

[1]T. Wiegand, G. J. Sullivan, G. Bjntegaard and A. Luthra,“Overview of the H.264 video coding standard,” IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, pp. 560-576, Jun. 2003
[2]Information technology—Coding of audio-visual objects—Part 10: advanced video coding, final draft international standard,” ISO/IEC FDIS 14496-10, Dec. 2003
[3]ADSP-BF548 EZ-KIT LITE evaluation system manual, Analog Devices Corp , Apr. 2008.
[4]D. LeGall, “MPEG: A video compression standard for multimedia applications, ” Communications of ACM, vol. 34, no. 4, pp. 46-58, Apr. 1991.
[5]H.264/MPEG-4 Part 10 White Paper, http://www.vcodex.com/h264.html.
[6]“Information technology－Coding of audio-visual objects－Part 2: visual,” ISO/IEC 14496-2, MPEG-4 1999.
[7]Information technology—Coding of audio-visual objects—Part 10: advanced video coding; amendment 3 scalable video coding, ISO/IEC 14496-10:2005.
[8]G J. Sullivan, J. R. Ohm, W. J. Han, and T. Wiegand,“Overview of the High Efficiency Video Coding (HEVC)Standard,” IEEE Trans. On Circuits and Systems for Video Technology, pp. 1-19, DEC. 2012.
[9]J. Ostermann, J. Bormans, P. List, D. Marpe, M. Narroschke, F. Pereira,T. Stockhammer and T. Wedi, “Video coding with H.264/AVC: tools,performance, and complexity,” IEEE on Circuits and Systems Magazine,vol. 4, pp. 7-28, 2004.
[10]C. C. Wang, T. S. Chen and C. W.i Tung, “Fast intra-mode decision in H.264 using interblock correlation”, IEEE Internation Conference on Image Processing (ICIP 2006), pp. 1345-1349, Atlanta, GA, USA, Oct. 8-11. 2006.
[11]ADSP-BF548 EZ-KIT LITE evaluation system manual ,2008.4, Analog Devices Corp
[12]Joint Video Team soft ware JM11, http://iphome.hhi.de/suehring/tml/download
/old jm/jm11.0.zip
[13]“TMS320DM642 data sheets, ”Texas Instruments, Inc., http://focus.ti.com/lit/
ds/symlink/tms320dm642.pdf , Feb. 2010
[14]“MC9328MX21 data sheets,” Freescale semiconductor,Inc.,http://cache.freescal
e.com/files/32bit/doc/data_sheet/MC9328MX21.pdf, Dec.2009
[15]“ADSP-BF548 Data Sheets, ” Analog devices corp.,http://www.analog.com/stat
ic/imported-files/eval_kit_manuals/ADSP_BF548_ekman_ezkit_Rev1.0_1107.pdf, Feb. 2009
[16]C. C. Wang, H. S. Lin and W. H. Chen,“Fast intra/inter coding mode selection for H.264 encoder,” International Conference on Information Sciences, Signal Processing and their Applications (ISSA2010), pp. 89-92, Kuala Lumpur Malaysia, May 10-13, 2010.
[17]陳宗賢 編著“應用於H.264 視訊編碼標準之快速畫框內預測演算法” 義守大學電子工程學系碩士論文, 中華民國九十五年六月。
[18]鄒佳憲 編著“應用於H.264之快速可調視訊編碼器” 義守大學電子工程學系碩士論文, 中華民國九十六年六月。
[19]“低複雜度嵌入式H.264編碼器和DSP之實現” 義守大學電子工程研究所碩士論文, 呂彥霖 著, 中華民國一百年七月。
[20]張芝瑗 編著“基於BF-548 DSP之快速H.264視訊編碼器研究” 義守大學電子工程學系碩士論文, 中華民國一百零一年七月。
[21]王騰堯 編著“快速H.264視訊編碼器與DSP實現” 義守大學電子工程學系碩士論文, 中華民國一百零二年一月。