從智慧攝像頭溝通會上 看高通物聯網願景
【手機中國新聞】10月23日,高通在北京舉辦了一場關於“智慧攝像頭解決方案”的媒體溝通會,本次溝通會上,高通Technologies產品管理高階總監Sahil Bansal出席並進行了講解。
高通Technologies產品管理高階總監Sahil Bansa
首先Sahil Bansal對物聯網領域提出了自己的理解,他認為該領域的發展趨勢主要體現在以下幾個方面:
物聯網領域的發展趨勢以及高通在該領域的優勢
1.以元器件為主,轉變為系統級解決方案的思路
2.行業領導地位源於長期投入和規模化優勢
3.對無線連線的需求不斷增長
4.智慧持續向邊緣進行拓展
當談到物聯網領域的領導地位時,高通在無線網路、Wi-Fi解決方案擁有巨大的使用者群,並且在基於Mesh的Wi-Fi網路上,在當今領域屬於領軍者。同時包括高通Wi-Fi SON(自組織網路)解決方案。在家庭/企業/場館Wi-Fi的市場份額、全球藍芽音訊系統解決方案以及Wear OS手錶市場方面,高通也是遙遙領先。4G兒童手錶的快速發展是全球特別是中國市場的趨勢之一。此外,高通也是首個推出面向智慧攝像頭的10奈米系統級晶片(SoC)的廠商,目前有不少主流廠商的新品搭載了高通QCS605/QCS603等10奈米系統晶片的解決方案。
對於物聯網領域來說,智慧攝像頭最需要的三大要素,主要包括“連線”、“計算”和“安全”。
智慧攝像頭最需要的三大要素
連線
首先,物聯網領域需要更快的網路速度來支撐連線,為此高通投入了巨大的研發,高通擁有豐富的Wi-Fi、藍芽、LTE、4G/5G網路等連線技術優勢,可提供與應用處理器整合整合後更好的連線方案,
計算
關於高效能的計算,物聯網領域需要利用不同的引擎,滿足不同演算法的需求,比如人工智慧、視訊音訊編解碼、基於感測器的處理應用等,高通通過與ARM的合作,開發出了基於ARM的“KrroCPU”架構,可以實現效能最大化以及更小的功耗。同時,高通還有定製化的Adreno GPU與DSP、顯示屏處理技術和電源管理,從而為帶來更好功能體驗。
安全
隨著物聯網對安全性的要求不斷提升,對於智慧攝像頭來說,安全性是必不可少的。為此,高通在安全性上帶來看更多卓越的解決方案,比如支援安全啟動、安全儲存、金鑰配置、安全除錯等。
高通認為,對於物聯網來說,終端、機器與萬物正在變得更加智慧化,就拿智慧攝像頭來說,它不僅進行面部識別、面部檢測和人物檢測,同時還可以識別人物的坐姿、蹲下和奔跑等一系列姿勢。
另一個趨勢就是,智慧化正在向終端進行分佈,並且從伺服器、雲向無線邊緣與終端擴充套件,其中在伺服器上經常可以看到與雲上的AI模型訓練與無線邊緣與終端逐漸的進行連線。
面向網際網路的深度學習
而整個萬聯網領域,最重要的當屬“終端側智慧”,它能夠對雲端處理進行補充。終端側智慧之所以重要,是因為它能夠更好地保護隱私、提高可靠性、降低時延、高效利用網路頻寬。就隱私而言,比如您在使用家庭安防攝像頭時並不希望攝像頭拍攝的所有畫面都傳輸到雲端,終端側智慧可以在最靠近資料來源的位置處理資料,保護使用者的隱私。就可靠性而言,比如家中的網路因為某些原因而發生中斷,但使用者仍然希望關鍵業務應用可以正常執行,家庭安防攝像仍然能夠及時檢測到入侵者。對低時延而言,使用者在使用基於網際網路的應用時希望可以享受低時延的體驗,比如攝像頭在檢測到訪客畫面後能夠快速識別對方身份,並且判斷對方身份是可靠或可疑,快速執行開門或報警的動作。同樣,網路頻寬的高效使用對於普通消費者和企業級使用者來說同樣重要,將攝像頭拍攝的所有畫面均上傳至雲端對於頻寬利用是非常低效的。如果能夠在終端上完成畫面的識別和分類,再智慧化地將其中某些畫面上傳雲端,從而實現網路頻寬的高效利用。
人工智慧在物聯網的用處
需要注意的是,目前面向物聯網的攝像頭技術和手機中使用的攝像頭技術並不相同,首先,高通擁有更為先進的時域降噪技術,可改善低光源環境下的視訊畫面質量、其次,360度端側畫面即時拼接可支援VR攝像頭應用,在終端上就能完成,具備低時延的特性;然後先進的電子穩像(EIS)不僅可支援運動攝像頭和無人機,對於企業級或車載攝像頭也是極其重要;最後,交錯式HDR可以支援廣角視角及出色的視訊拍攝功能,同時能夠適應不同燈光環境進行拍攝。
高通在面對物聯網使用的攝像頭方面,主要提供了豐富的終端側神經網路產品組合,包括優化後的“SoC”系統晶片,通過異構計算的關鍵優勢,提供高效、優化、效能卓越的系統級晶片,包括定製的Qualcomm Kryo(CPU)、Qualcomm Adreno(GPU)、Qualcomm Hexagon(DSP)。針對不同的應用,在CPU、GPU或DSP上高效執行不同的神經網路。接下來是軟體框架,高通提供的深度神經處理架構為合作伙伴在其加入不同的深度神經網路。
另外,當提及“人工智慧”(AI)時。高通表示它也是物聯網至關重要的關鍵,並且將AI分為視覺智慧、音訊智慧、低能耗處理的三大類別。
AI的三大類別
面對IoT市場,在今年美國CES上,高通就針對IoT領域一連推出5套不同的晶片產品系列,包括移動(Mobile)、應用(Applications)、通訊(LTE)、網路連線(Connectivity)、以及藍芽(Bluetooth),大舉搶佔IoT市場。
為此,高通帶來了以下四種解決方案:
高通在智慧攝像頭上帶來的四種解決方案
入門級攝像頭解決方案
Qualcomm APQ8053 Lite與ualcomm APQ8053 Pro,前者支援2100萬畫素,視訊支援1080p,CPU為8xArm CoretexA53,其頻率高達1.8GHz,整合Adreno GPU;後者支援2400萬畫素,視訊支援4K@30fps,CPU為8xA53,頻率高達2.2GHz,整合Adreno 506 GPU。
旗艦級攝像頭解決方案(早期釋出的兩款產品)
QCS603
QCS603專為企業級IT所設計,攝像支援2400萬畫素、30fps,視訊編解碼器可支援4k 30 HEVC,CPU為四核Kryo,GPU為Adreno 615,DSP包括2xHVX/1.2GHz,能夠為深度學習提供非常強大的計算能力;QCS605的攝像頭可支援3200萬畫素、30fps,視訊編解碼器可支援4K@ 60fps,CPU為八核Kryo,GPU為Adreno 615,DSP整合2xHVX/1.2GHz。
QCS605
這款晶片採用10nm工藝,採用異構計算,集成了八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器;它支援高通人工智慧引擎,可為深度神經網路推理提供高達每秒2.1TOPS運算,加速終端側AI;它還支援雙1600萬畫素感測器,提供4K+60fps或5.7K+30fps的視訊,為相機提供更強的影象處理能力。
得益於高通QCS605晶片的支援下,攝像頭可以實現物體的追蹤、人臉識別、食品分類等,可以廣泛應用在智慧家庭安防、智慧顯示屏、運動攝像頭、VR 360度攝像頭、工業物聯網、企業監控攝像頭等領域。
此外,Sahil Bansa還帶來了高通在loT領域生態合作方面的更多進展,比如高通與微軟進行合作,共同推出搭載搭載高通視覺智慧平臺及微軟Azure IoT Edge的AI開發包。與GoPro合作研發的攝像頭等。
高通展示攝像頭解決方案
溝通會最後,高通向媒體展示了智慧攝像頭解決方案在智慧家居、智慧音箱、VR、企業級監控領域應用場景的成果,由此也能看出高通正在物聯網領域裡更快的實現加速落地。