文安智慧陶海：計算機視覺演算法和硬體，同行在拼什麼？
大家下午好，非常高興有機會和大家進行交流。
我對今天的會議感受很深，中午一起吃飯的有很多老朋友，智慧交通經過了很多年的發展，逐步進入產業化，逐步開花結果。剛才劉總講得非常好，停車一直是困擾著我們的，三種停車方式到底用哪種，現在看起來高位停車做得非常棒，而且前端技術只是一部分，更重要的是把後面的平臺、使用體驗做得非常棒。
今天我要講的主要是 計算機視覺技術方面在智慧交通中的具體應用 。
文安智慧做交通做了很多年，最早做車牌識別，後來開始做電子警察，電子警察和停車在城市的交通應用中是兩個比較重要的、多產出的兩個應用。最近一段時間，從管理的角度，城市大腦的發展越來越重要。我們在電子警察方面做了很多創新，這個產品越來越豐富，今年可以做到16種功能，會不會太多？好像計算機視覺已經強大到大家都沒法開車了。但是其實計算機視覺技術在智慧城市中，除了交通和安防外，還會得到非常多的應用。
文安智慧創業早期主攻演算法，在2012年逐步開始做硬體。我們發現做人工智慧如果只做演算法是會有問題的，因為大規模的產業化的時候，一定要把成本降下來，把易用性提高，光靠演算法不行。所以我們後來也做了很多嵌入式的裝置。對於視訊來講，智慧無非是前端的智慧攝像機或者是後端的高密度智慧分析，也可能有中間的過渡，那就是一個視訊處理的盒子。
我們的技術架構的底層還是計算機視覺的技術，現在都講深度學習，可能對一些識別、分類和檢測比較有效。但做視訊處理的時候，可能還需要做跟蹤以及其他的圖象處理，所以傳統的視覺技術和深度學習視覺技術是進行混合的。嵌入式視覺也非常重要，討論的是怎麼把視覺演算法放到小的晶片裡，這裡就可以看到我們做的一些面向不同場景的裝置，比如用於智慧零售的智慧相機和用於智慧城市的人臉和交通相機，以及後面的高密度GPU伺服器。
目前文安有兩個主要業務，現在都到了AI落地的時間，一個是智慧城市，過去以智慧交通領域為主；另一方面是智慧零售和智慧商業，智慧商業這個方向我們也做了接近十年。智慧零售則是經過一段時間鋪墊，今年剛剛開始發力。
今天的題目是“AI感知”，我們在做城市大腦的時候一般會分為感知層AI和決策層AI。要做決策層AI首先要有足夠多的感測器把路面上的資訊收集回來，也就是感知層AI。
首先是關於車輛感知，有幾個方向： 一個是交通違法資訊；第二個是交通流量，也就是交通流的資訊，治理擁堵、信控等等都需要；第三個是交通事件和城市應急事件，擁堵、撞車等等 。除此之外，在現在的智慧城市中，尤其是深圳， 還做一些創新性的事件檢測，比如跟城市部件完好相關管理，城市綜合治理等。 綜合治理涉及到城管、環衛、水務、國土等多個城市管理部門，這就涉及到很多的視訊分析功能以及視訊資料的綜合利用。比如說垃圾有沒有溢位，小黃車有沒有亂擺放，有沒有攤販佔道經營，通過智慧攝像機和後端智慧分析系統全部都可以分析出來。我們就把路面上的攝像機大致分成了五類：車輛的違法、車流量資訊、交通事件和應急事件，以及綜合治理、城市部件等。
從演算法開發的角度來講，底層是結構化，再往上面要做很多細分的。現在林林總總的路面上的監測能做到大概30多個各種型別的識別功能。這是我剛才已經說過的，跟消防、水務等都相關。換句話說，現在的人工智慧計算機視覺的水平基本上可以與你在視訊裡面用人眼大致識別出來的東西平行，計算機都可以識別出來。後面就有一個更深層次的問題，收集了這些資訊之後怎麼用？政府用這個資訊的流程要怎麼跟它適配，最終形成一個閉環。採集到垃圾裝滿了就可以收走，這是另外一個問題，決策層AI的問題。 我們首先要解決的問題是前端，能夠正確的分析出來 。
下面是一些案例，比如說這是一些結構化分析的功能和方向，現在各公司都做得非常多，而且也越做越細。 從一定程度上來講，學術上沒有太大難度，只是資料收集、標註，用一個神經元網路做擬合，現在這方面的能力是比較普及的 。 當然其中的關鍵問題是能不能做得便宜？能不能把優化做得非常好？達到合理的投入產出 。
第二個，路面上無非是人、車、非機動車。對於這些物件，我們要對他們進行流量的分析，不管是客流、區域存量人數、區域車輛、斷面車輛等等，現在對非機動車的關注也越來越大，因為很多城市裡面的自行車和沒被定義為機動車的各種電動車輛還是非常多的。
此外是事件檢測，和城市相關的事件有60多種，很驚人的數字，除了交通之外還有比如說刮颱風，電線杆倒了，或者是樹倒了；比如說拋灑、井蓋缺失、垃圾溢位等等非常多。在這些事件的識別上，現在還處於不太成熟的狀態。這裡有一個非常重要的原因，就是這些事件往往是小樣本事件，不像車牌一下就是幾十萬個、上千萬個，用深度學習結合一做就結束了。道路上有裂紋，樣本是很少的；道路積水的形態各異，樣本又少，這種時候怎麼把事件分析出來，本身就是非常有意思的計算機視覺問題。不是很盲目的弄一堆資料一擬合就可以實現的，還需要深入做研究，當然有不同的方法。
回到交通領域，我們今年在北京市海淀區第一個部署了16合1電子警察相機系統。在我們跟深圳交警交流的過程中，使用者說到現在各公司都說能做16合1，但值得一提的是文安智慧的16合1是真正的16種動態交通違法行為分析，而不是把車牌的顏色識別都當成是一種功能。現在的違法行為監測已經從單一的闖紅燈到單一車輛乃至多個車輛的軌跡分析，比如說左拐車輛不避讓直行車輛，這些是兩個車輛的互動，做得也是比較細的。只不過是不是需要做到這個程度，這是執法重點的問題。哪個地方強調哪種執法，是可以選擇的，這也和城市當地的具體情況有關。但是從技術提供方角度講，可以把這種能力提供出來。
此外，我們今年還做了很大的創新。前面提到的這些功能，以前都是放在前端相機裡的，但是現在，後面的伺服器裡也可以把這些都做了，這對充分利用原來已經安裝的相機作用很大。假如說對於已經裝了的攝象機，通過後端智慧結合就可以增強它的功能，原來抓不到而城市管理者又很想抓的行為就可以抓到。
在路面上的攝像機，如果能控制它的話，還能做一些微卡口。微卡口可以是針對人、車、非機動車等各類物體的。比如說人臉就可以在路面上抓拍，非機動車在一些電動車被偷竊比較嚴重的地方，有需要也可以做識別。 ReID，也就是我們常說的跨鏡跟蹤，這是學術界和產業界都比較熱的領域。 在一個區域或者整個城市裡，如何依靠一個個彼此獨立的攝像頭，跟蹤一個嫌疑物件。ReID的技術現在還在發展成熟過程中，指標也越來越好，內部研發現在可以比最好的測試機還能提高不少。2008年，當時的指標還是很低的，但有了深度學習後，這方面確實做得越來越好。就ReID而言，即使是同一個人，我們不同攝象頭裡面可以找到他，視角可能都是不同的，但是依靠多維度的特徵，比如說人體、服裝配飾、包、鞋等，我們可以知道是同一個人。但是要做好，這個特徵發現的過程必須是自動的，人不能干預。
下面分享兩個視訊，一個是車輛的，主要還是車輛行為和資訊監測；另一個是我們做的地鐵裡面的客流統計，地鐵的客流統計主要是出於安全考慮，人不能太多。怎麼知道一個地鐵站裡面有多少人，這件事情其實不是想象的那麼容易，有兩種做法，一種靠進出流量統計、一種靠區域存量人群統計。就流量統計而言，因為裝置都會存在誤差，在人流量非常大的時候，隨著時間的推移，積累誤差會很大。而且越到晚上這種人少的時候存量誤差越大，極端的情況下，在地鐵站裡實際只有300人的時候，積累誤差可能是負3000人。那麼怎麼真正準確的知道里面有多少人呢？一個做法是用區域全覆蓋，攝象頭越來越便宜，演算法越來越好，成本確實也越來越低，這種情況下可以對一個場景進行全覆蓋，用存量綜合統計的方法進行分析。另外一個很有意思的全覆蓋的場景，是智慧燈杆。深圳和各地都在做智慧燈杆，劉總說的停車和智慧燈杆是有交集的，就是把城市路面全部進行覆蓋。這種情況下，做了全覆蓋以後，就可以全面瞭解整個城市的狀態，多少人、多少車，路上發生了哪些事情，所有細節行為都可以知道。
總結一下，簡而言之現在說的演算法，在公安和交通裡面，尤其是 交通裡面主要是關心、人、非機動車和機動車。演算法做什麼 ？ 首先是影象裡要檢測到 ，現在的攝像機解析度越來越高，以後一個燈杆上的相機可以達到4千萬象素，要把所有場景裡面的車、人、非機動車全部檢測出來。 第二是跟蹤 ，他們到底在怎麼運動？ 第三是識別出來 ，知道車牌號碼，知道人體特徵。 第四是要知道行為 ，人有沒有聚集，車輛有沒有違法，或者是有其他的行為。我們計算機視覺公司主要是開發這一類演算法，並且把它們放到裝置中去，並把做到易用，成本可控，在一個垂直行業裡全面推廣。
文安智慧是有硬體能力的。 要把裝置做好，適合行業推廣，要做到三點 ， 第一要做高密度，第二做低功耗，第三是低成本。 我們自己不做晶片，所以我們跟一些晶片廠商合作，比如說英偉達、英特爾、華為海思等等。從裝置方面講，無非是前端和後端，我們認為未來凡是涉及大庫比對、跨鏡融合的，這種比較適合在雲端做，尤其是對物體的抓取。但因為解析度越來越高，都拿到後臺處理又是不太現實的，將來如果4千萬象素的時候，把4千萬象素攝像機產生的視訊資料全部放到後臺去是不太現實的。 最好的辦法是前端智慧主要負責檢測、跟蹤、行為分析，一個攝像頭內能幹的事兒都在前端幹完。跨攝像頭的就放在後面做，這個資料傳輸量就會比以前小很多。 目前文安在前端有兩類主打裝置，做人臉和客流抓拍，給店鋪和商業地產應用。另外魚眼智慧相機，可以做區域熱力圖，也可以做進店率。成本可控，功能強大。
文安智慧的產品，還包括公交車的客流統計和運營分析。現在我們擁有在公交車做客流統計最精確的演算法。也包括給購物中心、零售連鎖店做客流統計的裝置，已經做了十年。到今天才敢說，我們這些裝置基本上可以做到DIY，免除錯了。
從後端智慧分析裝置而言，這是我們的“繁星”智慧分析叢集伺服器，裡面包含兩層晶片，一層有20顆NVidia TX1，未來還會推出其他晶片的產品。這類產品的基本概念，就是這是一個沒有主CPU的架構，完全併發N個，40個也好，60個也好，這些處理器，高效能的CPU，用來做視訊分析是最有效的，做一千路視訊也不需要太多臺伺服器。
未來我們覺得萬物互聯必然成為現實，而且以前講IoT可能更多講感測器，隨著感測技術和處理技術的發展， 我們認為未來的IoT會把智慧視訊、圖象處理、識別納入進去，視覺感測器足夠便宜，功耗可能也只有一兩瓦，還有資料傳輸能力，這樣就可以做到無所不在的計算和感測器網路。 我記得在2003/04年的時候，美國學術界提出了這些概念。經過了15年努力，直到今天才看到了這些願景實現的可能性。
謝謝大家。
推薦欄目：智慧交通百佳
【智慧交通百佳】是億歐近期開展的專題策劃。智慧交通是智慧城市發展必不可少的一環，但智慧交通需求複雜，行業集中度低，市場分佈散亂，目前尚未出現處於絕對領先地位的企業。「智慧交通百佳」將採訪智慧交通各個細分領域中的優秀企業，領域包括但不限於：交通平臺、交通採集與釋出、交通訊號控制、電子警察、智慧軌道、車聯網、交通規劃、智慧停車、電子不停車收費、交通安全、卡口等。如果您的公司想報名參與「智慧交通百佳」，或者有合適的企業推薦，歡迎聯絡億歐記者唐鈺婷（微信：Tang17328392494）。
10月19日，由億歐主辦，思貝克聯合主辦的“BATi智慧城市論壇”上，億歐重磅公佈了 ofollow,noindex">“2018智慧交通TOP30企業榜單”。
本文系投稿稿件，作者：陶海；轉載請註明作者姓名和“來源：億歐”；文章內容系作者個人觀點，不代表億歐對觀點贊同或支援。