那些金融科技帶給物聯網的經驗之談
目前來說，我們能夠從物聯網（IoT）行業中學習和獲取的經驗還為數不多。但同時，物聯網卻可以而且應該從其他行業學習眾多經驗，以便降低完成工作任務的難度。收集、處理、壓縮、儲存和檢索資料是物聯網的幾項基本工作，但早在數年前甚至數十年前，金融科技等行業就已經開始提供這些服務。所以我認為，現在物聯網從業人員也應該與其他行業的人員及時交流並借鑑經驗了。
物聯網遭遇資料洪流其實，物聯網自身的運作如今也面臨著重重困難。在與其他物聯網專業人員溝通後大家普遍認為，物聯網所生成的資料要比最初制定標準時的預期多得多。無論是在智慧家居、智慧商店或智慧城市中，面對來自眾多裝置的海量資料，基站並不總是能夠按照預期處理負載。
要解決這個問題，需要安裝更多的基站，提高訊號傳播的流暢性，不過這同樣也會進一步提高基礎架構和資料處理成本。同時，這些基站相互連線，來回交換資訊，因此資料量比標準制定人員預期的資料多出很多，這會導致頻寬中充滿劇增的資料包。
這些問題一個個累加起來，不斷地提出對硬體、軟體、許可成本和資料流控制費用的各類要求。最終，物聯網資料處理解決方案依舊無法應對持續增長的資料量。
那麼，面對這樣的狀況，我們該採取哪些措施呢？
金融科技的資料經驗之談物聯網建立的資料工作原理與這幾年金融科技資料的工作原理類似。兩個行業的資料型別都帶有簡單的訊息：一個時間戳、一個識別符號和淨負荷資訊。因此，對於金融科技從業人員來說，物聯網資料包的傳輸資訊尺寸和型別的性質與金融科技正在使用的非常類似。
此外，交易資料的處理方式也與物聯網嘗試的處理方式一致。從交易所到市場資料提供商，從經紀商到交易商，各方所採取的交易資料儲存和管理方式也一致。金融市場資料的交付是交易、投資和分析的基礎。金融科技目前每秒要處理約1200萬個專案，涉及數百萬個訊號和多達15種資料型別（報價、訂單、交易等），並且該技術具備非常高的實時工作效率。
金融科技使用的資料處理解決方案經過現場驗證和嚴格測試。這些技術表現為一個完整的技術堆疊，是一種用於收集、管理、標準化、儲存和分配不同資料型別的資料生態系統，並允許我們以一種高效的方式處理歷史資料。下方列出了可應用於物聯網的關鍵資料技術：
資料標準化：每個資料來源都有自己的格式，而這種技術將從不同交易所收到的所有資料轉化成統一格式。它允許使用者採用統一資料管理的格式，而無需憂心資料來源，就像是將資料轉化成元語言。資料標準化的結果就是所有專案都以特定的資料模式交付。
訊息傳遞系統：這種可擴充套件的資料模式可以確保所有專案型別的分佈和分配，即使是在動盪的市場條件下，也能確保低延遲和高吞吐量。例如在2018年2月5日股票市場的小型崩潰中，我們的客戶在嚴酷的市場變動導致的峰值載荷期間也未出現任何停機時間。雖然當天他們交易平臺上的訂單數量每小時達到了25萬左右（下午一點到兩點），一天的交易量總計達到了140萬，遠遠超出一家超大型零售商店黑色星期五當天的交易量。
多文字資料庫：這是訊息傳遞和資料分配系統的特色，能夠確保資料真正實現實時交付。即使資料饋送出現資訊小規模爆發，資料處理平臺也能清空資料推送，保證關鍵資訊的實時傳輸。與此同時，其他"非必要"訊息也不會清除，所有專案都儲存在歷史儲存中，並在需要時進行檢索。例如，歐元/美元匯率每秒可能會變化數千次，而人眼每秒平均最多能看25條更新，因此可以僅關注關鍵訊息，將其他訊息直接傳送到儲存。物聯網行業與此類似的情況是溫度傳輸器傳送數百次更新，每次僅十分位後的數字有所變化，因此，從市場監控角度來說，每分鐘五次更新就已經足夠。
壓縮資料格式（CDF）儲存：這種技術用於在不同檔案格式中高效檢索大量資料或安排該資料的傳輸。在物聯網行業，該技術可被用於對監控和管理系統進行全面審計或返回測試。
如今，金融科技行業已出現能夠處理數十億專案的專有技術。對於正在構建金融科技解決方案，且在從交易商處或為交易商收集關鍵資料領域擁有多年經驗的公司來說，可以輕鬆將這種資料處理、傳輸、壓縮、儲存和檢索能力用於物聯網行業。雖然物聯網生成的資料量不足以組成一家金融科技公司，但每秒處理數十Gb資料的情況在這裡也很常見。因此，我相信通過深入瞭解金融科技領域的大資料經驗，物聯網行業將獲益匪淺。