極速高清——給你帶來全新的高清視野
歡迎大家前往騰訊雲+社群，獲取更多騰訊海量技術實踐乾貨哦~
本文由騰訊雲視訊發表於雲+社群專欄
關注公眾號“騰訊雲視訊”，一鍵獲取 技術乾貨 | 優惠活動 | 視訊方案
歡迎來到吃雞戰場
很生氣！！！我才剛落地，就因遊戲介面糊了一下，阻止了我撿槍的步伐，就被不知道從哪躥出來的傢伙給打死了！！！瞬間落地成盒！！！
我很憤怒，於是找了遊戲部門的同事吐槽了一番，得到的回答是：畫質的問題歸你們部門，勞煩你自行進行處理！
為了能讓自己有個愉快的遊戲體驗感，於是乎，深陷於研發高清畫質的工作中……
經過前期的瞭解，得知當前遊戲直播行業1080P、>=45FPS、位元速率6-10mbps已成為遊戲主播上行的標配，各視訊平臺使用者對視訊源清晰度觀看體驗要求越來越高，CDN頻寬成本佔視訊APP平臺成本比例大頭。如何降低頻寬成本壓力是各視訊平臺降成本最重要的措施，其中視訊降位元速率是現階段主要措施有，主要措施如下：
演算法升級
AV1/H.265/VP9/H.264等，AV1剛定稿AOM編碼效能相比其它3家100倍以上差距，由於核心成員有Google/Amazon/Cisco/Netflix等這些大佬以及定位對web的友好性，AV1 3月剛完成V1.0的定稿以及ffmpeg4.0的支援，可以預見的是，後面硬體支援友好後，Netflix、Youtube都將是第一批AV1的使用者，H.265其複雜專利結構導致的較高許可費用，創立之初也未充分考慮到網頁播放的友好性，更致命的是複雜的演算法讓解碼端異常吃力，VP9開源、WEB相容性也好、解碼複雜度低，除Apple和技術原因外可能的理由之一就是業內也不太願意讓這麼重要一個國際標準被一個獨立的公司所控制。 現在視訊平臺主流編碼演算法還是以H.264為主
普通轉碼
短視訊和直播平臺、視訊網站對視訊分源、超清、高清、流暢等不同檔位，基本都是一些按解析度和位元速率要求強制壓縮轉碼，效果不理想都是以省位元速率為目標沒有考慮使用者觀看體驗
極速窄帶高清
騰訊雲極速高清、窄帶高清以及netflix的動態編碼都是基於場景、清晰度、解析度、位元速率、幀率、編碼演算法、播放策略等目標在不降低甚至增強源視訊畫質體驗的基礎上降低視訊位元速率
視訊源和普通轉碼存在的問題
視訊源和普通轉碼主要存在的質量問題有：轉碼失真、低解析度模糊、鏡頭抖動、噪聲大、低位元速率鋸齒塊等
極速高清是如何解決這些問題
視訊智慧分類
把視訊分成遊戲、秀場、體育、戶外、動漫、美食、影視劇等十幾個大類幾十個小類場景，通過畫面特徵比較，明顯場景類如遊戲、足球、藍球、動漫等場景，純CNN網路模型準確率98%以上，電視劇、戶外運動、美食、旅遊等畫面特徵比較分散，幀間運動變化比較大的場景CNN結合RNN+LSTM做時域+空域分析，準確率85%左右
編碼引數
通過視訊場景分類實時識別（特殊直播場景識別延時大概有10秒-60秒左右），根據場景識別結果，不同場景配置不同最優編碼引數， 根據視訊原始碼率、幀率、解析度、紋理和運動變化幅度等情況以及綜合機器負載和畫質效果選擇最優編碼模板引數
前置處理
根據不同場景分類、客戶對視訊畫質的不同要求，以及結合視訊源畫面紋理和實時運動檢測結果進行銳化、軟模糊、反交錯、去塊、降噪、色階補償、降幀等前置處理
動態優化
不同的視訊類別，同一個視訊裡的不同段，應用完全不一樣的編碼引數；“不同的引數”的概念包括但不限於：IBP幀型別、量化引數QP、解析度等，支援編碼引數按幀實時更新生效
位元速率控制
不管是標準H.264/JVT-G012 位元速率控制演算法還是x264的位元速率控制演算法在運動變化切換比較明顯的場景下預編一次得到率失真理論凸曲線都是儘可能接近最優失真曲線，國內CDN頻寬基本都是按95計費法，CDN頻寬取樣點是5分種的均值，對於這種運動場景實時檢測切換比較明顯的場景幀我們在x264位元速率控制的基礎上會綜合幀時序資訊做一些補償因子和畫質控制，畫質VMAF得分會有3-5分以上的提高
如上圖極速高清在VMAF得分相同情況下位元速率控制更低更精準。
detail reduce ☟
針對h264視訊編碼格式，設計了一種在視訊殘差的頻域上消除噪聲的演算法。該演算法結合了當前編碼巨集塊的殘差大小，巨集塊的QP值，歷史的頻域值等，並根據不同場景選擇匹配的video denoise模板，自適應地進行巨集塊級的視訊處理，能夠以極低的CPU消耗對噪聲巨集塊進行優化，同時保留清晰巨集塊的完整性
ROI處理 ☟
SIFT+差分影象+運動目標影象檢測或使用者指定(如臺標、水印)關注ROI區域，對該區域的巨集塊編碼進行強化(放大/縮小量化步長)、銳化、色階補償等處理，如央視世界盃就要求對臺標和字幕區域畫質和亮度增強
VMAF評分 ☟
VMAF是Video Multimethod Assessment Fusion的縮寫netflix 開源的視訊主觀感受質量評估演算法，看名字這就是一種多方法融合的演算法，主要使用了3種指標：visual quality fidelity（VIF）、detail loss measure（DLM）、temporal information（TI）。其中VIF和DLM是空間域的也即一幀畫面之內的特徵，TI是時間域的也即多幀畫面之間相關性的特徵。這些特性之間融合計算總分的過程使用了訓練好的SVM來預測
基本原理流程圖
從我們評估測試對比效果看VMAF得分和人眼主觀感受畫面質量很接近，基本能反應使用者對畫質的主觀感受，當然VMAF在一些主要評估特性功能上還有很多功能不完全支援以及評估時要手動嚴格幀對齊也比較費精力，netflix訓練模型主要是在明亮的室內通過電視觀看1080p視訊時的質量評估。不過手機上的模型也在做了效果不是非常理想
github地址：
ofollow,noindex"> https:// github.com/Netflix/vmaf
極速高清主要基於VMAF的得分效果優化相關編碼引數和演算法調整效果
效果對比
上圖是極速高清與普通轉碼和xx雲窄帶高清轉碼同位元速率下效果對比，總體我們測試效果和客戶反饋對比效果看同位元速率下我們VMAF分比競品和普通轉碼高10以分以上，同畫質VAMF得分下我們位元速率最大能降低30%左右
另注： PSNR和SSIM三大直接問題：
◆ 它只能衡量其與原圖的差異也即相對質量，不能計算絕對質量
◆◆ 孤立地計算每一幀，無法利用視訊中相鄰幀的相關性和運動資訊
◆◆◆ PSNR/SSIM值的計算方法過於straight-forward，結果跟人眼的主觀感受並不總能匹配
客戶反饋
極速高清現在應用主要客戶有：熊貓、鬥魚、龍珠、虎牙、火貓、企鵝電競、CCTV、新英體育等客戶。且極速高清服務也可進行私有化部署，全程支撐 http:// cctv.com 世界盃期間賽事直播
今天天氣好晴朗，處處好風光，好風光……
皇天不負有心人，自從有了極速高清的應用，在遊戲中分分鐘吃雞，瞬間成為部門的吃雞高手，還有不少小迷妹讓我帶著吃雞呢，迎來了人生的巔峰，哈哈哈哈哈哈
問答 請問小程式即時通訊如何接入傳送訊息？ 相關閱讀 IM即時通訊實現原理 iOS 即時通訊 + 仿微信聊天框架 + 原始碼 36082%3FfromSource%3Dwaitui" target="_blank" rel="nofollow,noindex">開發一款即時通訊App，從這幾步開始 【每日課程推薦】機器學習實戰！快速入門線上廣告業務及CTR相應知識
此文已由作者授權騰訊雲+社群釋出，更多原文請點選
搜尋關注公眾號「雲加社群」，第一時間獲取技術乾貨，關注後回覆1024 送你一份技術課程大禮包！
海量技術實踐經驗，盡在雲加社群！