新興的OTT視訊服務已經成為最受歡迎且最耗頻寬的網路應用。在這類服務中，自適應串流的技術被廣泛地與內容傳遞網路 (CDN) 一同佈署以向客戶傳遞多媒體資源。因為受到視訊品質、播放器行為和螢幕尺寸的影響，傳統的網路性能量測（例如吞吐量、延遲和抖動等）沒有辦法評估用戶實際的體驗品質。對於服務提供商、網路營運商以及客戶來說，都有品質量測的需求，特別是用戶體驗品質（QoE），以評估和改進系統效能以及用戶滿意度。
為了研究QoE的量測，本論文提出了一客觀QoE模型，即視頻平均意見分數（vMOS），其由應用級性能指標（APM）所組成。在該模型中，我們考慮了視訊解析度、螢幕尺寸、初始緩衝時間和卡頓事件作為主要的APM，並搭配個別權重對用戶體驗進行量化量測（介於1分到5分）。首先進行主觀實驗以估計每個APM的最佳權重並帶入所提的vMOS模型後，將其用於在Android平台上實作一 App 作為評估工具。本論文使用所開發的App進行實驗以評估觀看YouTube影片的QoE，我們觀察到大多數情況下vMOS的評分與真人所評估的主觀測試分數有近似的結果。因此，可以採用所提之vMOS與App自動評估OTT視訊服務的QoE，以取代昂貴且耗時的主觀測試。

The emerging over-the-top (OTT) video service has become the most popular and bandwidth-consuming Internet application. For this kind of service, adaptive HTTP video streaming is widely deployed along with the content delivery network (CDN) for delivering multimedia resources to customers. Conventional measurement of network performance (such as throughput, delay and jitter, etc.) fails to give a judgement of the user experience which is also affected by the video quality, player behavior and the display size. There are needs of quality measurement, especially the quality of experience (QoE), for service providers, network operators and even customers to evaluate and improve the system performance as well as the user satisfaction.
To investigate QoE measurement, an objective QoE model, the video mean opinion score (vMOS), consisting of application-level performance metrics (APMs) is presented in this paper. In this model, the video resolution, display size, initial buffering time and stalling events are taken into account with individual weightings to make a quantitative measure (between 1 to 5) of the user experience. Subjective experiments are performed to estimate the optimum weightings for each APM. The proposed vMOS is then used to implement an App on the Android platform as an evaluation tool. Some experiments are performed using the developed App for evaluating the QoE of watching YouTube clips, and we observe that the vMOS reports similar results comparing to subjective test evaluated by human observers in most of the cases. Therefore, the proposed vMOS and the associated App can be adopted to automatically assess the QoE of OTT video service, replacing the expensive and time-consuming subjective tests.

目錄
摘要 I
Abstract II
誌謝 IV
目錄 V
圖目錄 VIII
表目錄 X
第一章 緒論 1
1.1 前言 1
1.2 研究背景與動機 1
1.3 研究目的 3
1.4 相關研究 4
1.4.1服務品質定義 4
1.4.2主觀的 (subjective) QoE 6
1.4.3客觀的 (objective) QoE 7
1.4.4 QoE量測 8
1.4.5 QoE 量測結果驗證 9
1.4.6 QoS與QoE的關係 10
1.4.7影響QoE主要因素 11
1.4.8 螢幕尺寸、解析度與觀看距離的關係 11
1.5困難與挑戰 12
1.5.1 影片來源 13
1.5.2 環境因素 13
1.5.3 主觀因素 14
1.6 論文架構 14
第二章 問題描述與系統架構 15
2.1 問題描述 15
2.1.1 使用情境 15
2.1.2 視訊來源 16
2.1.3 播放狀態 16
2.1.4 輸出結果 17
2.2 系統架構 17
2.2.1 智慧型行動裝置 21
第三章 視訊服務品質綜合指標與量測方法 24
3.1視訊服務品質綜合指標 24
3.1.1 訓練階段之權重係數估計 27
3.2 量測方法 30
3.2.1 ExoPlayer播放器簡介 31
3.2.2 ExoPlayer播放器之狀態與事件通知 34
3.2.3 自適應解析度與分段紀錄 39
3.2.4 參數計算 39
3.2.5 狀況模擬 40
第四章 實驗結果與App實作 44
4.1 開發環境與實驗裝置 44
4.1.1 開發環境 44
4.1.2 實驗裝置 44
4.2 主觀測試資料庫 45
4.3 實驗設計與結果 46
4.3.1 訓練階段實驗結果 47
4.3.2 驗證階段實驗結果 47
4.3.3 實驗誤差探討 52
4.4 App實作結果 55
4.4.1 App簡介與操作流程 55
4.4.2 App UI頁面截圖與詳細功能 57
4.4.3 App 附加功能 70
第五章 結論 74
參考文獻 76

 
圖目錄
圖1-1典型的OTT影音服務傳輸架構 2
圖1-2視訊傳輸路徑簡化模型 6
圖1-3 QoE與QoS關係示意圖 10
圖2-1 視訊服務品質綜合指標App系統流程圖–訓練階段 19
圖2-2 視訊服務品質綜合指標App系統流程圖–驗證階段 20
圖2-3 ZenFone 3(ZE520KL) 產品外觀與揚聲器 23
圖2-4 ZenFone 4 Max(ZC554KL) 產品外觀與揚聲器 23
圖3-1 播放器狀態時間圖 36
圖3-2 播放狀態圖 38
圖3-3狀況一：自適應解析度測試模式下有切換解析度且正常播放完畢 42
圖3-4狀況二：建議解析度測試模式下固定解析度且正常播放完畢 43
圖3-5狀況三：網路狀況非常差，卡頓時間非常久並觸發逾時機制 43
圖4-1 驗證環境架構圖 46
圖4-2 客觀 QoE 模型的量測結果與使用者評分之相關性 48
圖4-3 客觀 QoE 模型的量測結果與使用者權重分數之相關性 50
圖4-4 對比度示意圖 52
圖4-5 對比度較不明顯的影片 54
圖4-6 App操作流程圖 56
圖4-7 測試 (Test) 頁籤 58
圖4-8 使用情境資訊蒐集 58
圖4-9 網路延遲測試 59
圖4-10 下載速率測試 59
圖4-11 上傳速率測試 60
圖4-12 vMOS品質量測 60
圖4-13 主觀感受問卷 61
圖4-14 vMOS品質量測完成 61
圖4-15 歷史紀錄 (History) 頁籤 62
圖4-16 vMOS量測相關的細部結果(左:指定解析度，右:自適應解析度) 63
圖4-16(續) vMOS量測相關的細部結果(左:指定解析度，右:自適應解析度) 63
圖4-17 資訊 (Info) 頁籤 64
圖4-18 設定 (Setting) 頁籤(左:指定解析度，右:開啟自適應解析度) 66
圖4-19 選擇測試影片 66
圖4-20 提供可選的測試時間長度 67
圖4-21 提供可選的建議播放解析度 67
圖4-22 選擇是否要執行背景測試 68
圖4-23 表列分日記錄測試結果 (History Data Model) 68
圖4-24 該日的各筆測試紀錄 txt 檔 69
圖4-25 表列分日記錄測試結果 (Record Data Model) 69
圖4-26 該日的各筆測試紀錄 txt檔 70
圖4-27 背景測試時之通知 71
圖4-28 背景測試之記錄 72
圖4-29 允許App自啟動示意圖 73

 
表目錄
表1-1平均意見分數 (Mean Opinion Score; MOS) 6
表1-2 QoE 模型的性能驗證方式之一 9
表1-3 網路因素 11
表1-4 影響用戶體驗的主要因素 11
表2-1 ZenFone 3與ZenFone 4 Max規格比較 22
表3-1 PPI與對應得分之關係 25
表3-2 初始緩衝時間與對應得分之關係 26
表3-3卡頓率與對應得分之關係 26
表3-4 五位使用者的問卷回饋結果 (範例) 29
表3-5串流技術 32
表3-6視訊格式 33
表3-7音訊格式 33
表3-8 播放器狀態細項 37
表4-1 開發環境 44
表4-2 主觀測試資料庫 – 資料數量表 45
表4-3 所提之vMOS與TTC’s vMOS比較 – 基於使用者評分 51
表4-4 所提之vMOS與TTC’s vMOS比較 – 基於使用者權重分數 51

[1]華為, “以視頻為中心的MBB網路規劃方法論”, [Online]. Available: http://www.huawei.com/minisite/hwmbbf15/img/video_coverage_whitepaper_cn.pdf
[2]華為, “基於移動視頻的移動承載網路要求白皮書”, [Online]. Available: http://www-file.huawei.com/~/media/CORPORATE/PDF/white%20paper/Technical-White-Paper-on-Mobile-Bearer-Network-Requirements-for-Mobile-Video-Services-cn.pdf
[3]智富smart, ”網路速度多少撥網路影片才會順？ (youtube, pps, justin, twitch) ,光纖網路價格比較”, [Online]. Available: http://0123456789.tw/?p=3467
[4]數位時代, “你真的知道Retina是什麼嗎？那些蘋果創造出來的技術名詞，你知道多少？”, [Online]. Available: https://www.bnext.com.tw/ext_rss/view/id/985760
[5]維基百科, “Retina顯示器”, [Online]. Available:
https://zh.wikipedia.org/wiki/Retina%E6%98%BE%E7%A4%BA%E5%B1%8F
[6]維基百科, “每英寸像素(PPI)”, [Online]. Available:
https://zh.wikipedia.org/wiki/%E6%AF%8F%E8%8B%B1%E5%AF%B8%E5%83%8F%E7%B4%A0
[7]KKNews, “蘋果Retina已過時 手機解析度終點在哪”, [Online]. Available: https://kknews.cc/zh-tw/digital/kbe68v.html
[8]維基百科, “基於HTTP的動態自適應流(DASH)”, [Online]. Available: https://zh.wikipedia.org/wiki/%E5%9F%BA%E4%BA%8EHTTP%E7%9A%84%E5%8A%A8%E6%80%81%E8%87%AA%E9%80%82%E5%BA%94%E6%B5%81
[9]YouTube, “MPEG-DASH / Media Source demo”, [Online]. Available: http://dash-mse-test.appspot.com/media.html
[10]Z. Duanmu, K. Zeng, K. Ma, “A Quality-of-Experience Index for Streaming Video,” IEEE Journal of Selected Topics in Signal Processing, vol.11, no.1, pp.154 – 166, February. 2017.
[11]M. Vaser, S. Forconi, “QoS KPI and QoE KQI relationship for LTE Video Streaming and VoLTE Services,” Next Generation Mobile Applications, Services and Technologies, Cambridge, UK, 9-11 Sept. 2015
[12]Y. Chen et al., “From QoS to QoE A Tutorial on Video Quality Assessment,” IEEE Communications Surveys & Tutorials, vol.17, no.2, pp.1126 – 1165, Secondquarter, 2015.
[13]R. Serral-Gracià et al., “An Overview of Quality of Experience Measurement Challenges for Video Applications in IP Networks”, Proc. International Conference on Wired/Wireless Internet Communications, Luleå, Sweden, June 1-3, 2010, pp. 252-263.
[14]SamKows, “SamKnows Test Methology (Document Reference: SQ301-005-EN)”, Feb. 2015.
[15]I. Ketykó et al., “QoE measurement of mobile YouTube video streaming”, Proc. Workshop on Mobile video delivery, Firenze, Italy, Oct. 25, 2010, pp. 27-32.
[16]Apple Inc., “HTTP live streaming technical overview 2013”, [Online]. Available: https://developer.apple.com/library/ios/documentation/networkinginternet/conceptual/streamingmediaguide/Introduction/Introduction.html
[17]A. Zambelli, “Smooth streaming technical overview”, [Online]. Available: http://www.iis.net/learn/media/on-demand-smooth-streaming/smoothstreamingtechnical-overview
[18]Adobe Systems Inc., “HTTP dynamic streaming 2013”, [Online].Available: http://www.adobe.com/products/hds-dynamic-streaming.html
[19]DASH Industry Forum, “For promotion of MPEG-DASH 2013”, [Online]. Available: http://dashif.org
[20]J. Gozdecki, A. Jajszczyk, and R. Stankiewicz, “Quality of Service Terminology in IP networks”, IEEE Comm. Magazine, March 2003.
[21]W. C. Hardy, QoS Measurement and Evaluation of Telecommunications Quality of Service, Wiley, 2001.
[22]ETSI, “Network Aspects (NA); General Aspects of Quality of Service (QoS) and Network Performance (NP)”, Tech. rep. ETR003, 2nd ed., Oct. 1994.
[23]ITU-T Rec. E.800, “Terms and Definitions Related to Quality of Service and Network Performance Including Dependability”, Aug. 1993.
[24]E. Crawley et al., “A Framework for QoS-Based Routing in the Internet”, IETF RFC 2386, Aug. 1998.
[25]ITU-T Rec. P.910, “Subjective video quality assessment methods for multimedia applications,” 2000.
[26]M. Seufert et al., “A survey on quality of experience of HTTP adaptive streaming”, IEEE Comm. Surveys Tut., vol. 17, no. 1, pp. 469–492, Sep. 2014.
[27]M.-N. Garcia et al., “Quality of experience and HTTP adaptive streaming: A review of subjective studies,” in Proc. IEEE Int. Conf. Quality Multimedia Exp., Sep. 2014, pp. 141–146.
[28]D. K. Krishnappa et al., “DASHing YouTube: An analysis of using DASH in YouTube video service,” Local Computer Networks (LCN), Sydney, Australia, 21-24 Oct. 2013.