Teradata CTO談資料分析的未來：大資料或消失，公民資料科學家很危險
【編者按】在2018Teradata全球使用者大會上，全美排名第四的CTO、天睿公司首席技術官、全球資料倉庫技術專家Stephen Brobst發表了名為《資料分析的未來》的演講，他認為，未來大資料或消失，公民資料科學家很危險。
文章轉載自大資料文摘，經億歐整理編輯釋出，供業內人士參考。
全美排名第四的CTO、天睿公司首席技術官、全球資料倉庫技術專家Stephen Brobst在2018 Teradata全球使用者大會上發表了名為《資料分析的未來》的演講。
他指出，未來大資料這個詞可能會消失，我們將迎來“全量資料時代”；此外，資料分析的統計知識非常重要，只依靠技術工具進行資料分析的業務領域專家非常危險。
Stephen指出，未來的資料分析將呈現以下四個基本特點。
▋ 從大資料思維到全量資料思維
Stephen提出的未來資料分析第一個趨勢，是從大資料思維向全量資料思維的轉變。
天睿公司首席技術官、全球資料倉庫技術專家Stephen Brobst
未來，資料的量級已經不再是衡量資料分析的最重要指標，最重要的價值將來自全量資料分析，整體資料的整合。
他指出， “未來，大資料這個詞或許會消失，取而代之的是【資料】或者【所有資料】，但資料分析會一直存在。”
無獨有偶，在剛剛結束的百度世界大會上，李彥巨集也提出了百度的全量資料思維。他指出，網際網路時代和人工智慧時代最大的不同，就是在資料分析上，到底是用抽樣方式還是全量資料獲取分析方式。
而顯然，後者更加符合當前時代的發展特點，特別是在一些特別的應用場景比如說智慧交通領域，用全量實時的資料來感知交通實際情況，城市每一輛車所在具體位置，每一個紅綠燈口有多少輛車，這些車移動的方向等等。通過對這些情況進行全域性調整，可以大幅度提升城市交通運營效率。
AI思維的智慧交通，具備全面感知、全域性決策、實時控制的特點，可以大幅度提升城市交通效率，改善人們的生活體驗，大大提高人們的幸福感。
▋ 新的分析技術將拓寬分析界限
斯坦福大學教授李飛飛曾公開表示：人工智慧、機器學習仍然是一個進入門檻高的領域，需要大量專業知識和資源，而很少有公司自己能負擔得起這些資源。今天，雖然AI能為企業提供無數的益處，但由於資源稀缺，多數企業還無法開發個性化的模型。
越來越多的資料分析技術在演算法自動化上的設定也顯然是奔著解決這一痛點而來。從谷歌的AutoML到Teradata最新產品下一代分析平臺Teradata Vantage，自動化的分析工具正在讓智慧分析的門檻變低，界限變廣。
那麼，高質量的資料分析工具是否會降低使用者對於資料和資料人才的重視程度呢？
“高質量的資料仍然非常重要”，針對這一問題，Stephen告訴大資料文摘，現在儘管分析工具越來越智慧，但他們的使用前提依然是沒有偏向（bias）的資料，和懂得這些資料的專業人士。
“深度學習演算法實際上非常適合處理資料質量問題。很多公司現在用無監督學習的反饋迴圈來解決資料質量問題，但我們還是希望，在資料蒐集的過程中就儘量最小化資料偏見。資料科學沒有魔法，它不是一個工具就可以解決的問題。你可以通過一些步驟來測試有偏見的資料，但這是件很微妙的事情。”
“你必須僱用那些知道自己在做什麼的人。”Stephen稱，業內現在存在很多隻懂業務、不懂統計的“公民資料科學家（citizen data scientist），這是非常危險的。他們嚴重依賴技術工具進行資料蒐集和分析，並不知道自己在做什麼，“這很可能會導致嚴重破壞性的結果。”
▋ 智慧分析需要業務場景
的確，統計知識對於資料分析舉足輕重，但是這並不代表著可以忽略業務知識。
Stephen指出，未來，智慧分析只是決策中非常小的一個部分，端到端的業務分析和場景都至關重要。
只有把系統部署到真實世界中用起來，拿到新的反饋、改進模型，才能獲得真實場景下解決問題的思路。Stephen也指出，如何吸取和提煉這種經驗也很重要，如果沒有總結能力和提取能力的話，換個新問題你還是不會做。
Stephen給出了一系列人工智慧和資料分析的應用代表領域，比如很重要的一個應用場景是反欺詐，有了深度學習以後，它可以很大程度上降低欺詐的情況，使欺詐行為發生得越來越少，尤其是考慮到罪犯是變換不同的欺詐手法，因此機器學習迅速的學習速度非常適合這一場景。
還有一部分美國人愛寫支票，金融機構需要識別支票上的簽字，因為人寫字的時候寫得亂七八糟，有的寫得不清楚，所以識別起來還是挺不容易的。現在有了深度學習，深度學習來識別手寫字型，到底是在什麼地方、誰寫的什麼的時候，這些場景下，機器都比人要做得更好。
▋ 未來屬於能將資料轉化為產品的企業
“資料探勘可以產生很多洞察，但只有生產落地才能創造真正的價值”，Stephen認為未來資料分析的第四個趨勢，是技術能力必須與產品結合起來。
“在矽谷，要麼你已經是一家資料公司，或者將來會成為一家資料公司，或者已經被徹底淘汰。因為大資料正在變革各個行業認識自己的方式。”
現在，通訊行業不再是收取訂閱費的行業，而變成了收集資料，並將資料貨幣化的過程。電信企業把資料收集起來，把資訊遞交給業務的決策者，他們就會做出更好的決策。
Stephen稱，未來屬於能將資料轉化為產品的企業，現在我們就需要越過商業智慧的思考，進入工業生產領域的思考，這樣才能真正的讓分析產生價值。
在產業不斷創新發展、智慧融合、技術推動的新形勢下，創業者需要一場可以指導各產業發展方向、釐清各產業發展脈絡、引導並連結資本風向、有重大影響力和啟發性的行業聚會。
2018年11月29日-30日，由億歐公司主辦的“智慧產業 美好生活”2018億歐創新者年會曁第四屆創新獎頒獎盛典將在北京國貿大酒店盛大召開，這將是一場匯聚5000名各產業創新者、行業領袖、國內外知名專家學者的行業盛會；是一場以引導、指引產業風向為目的，啟發並分享成功案例，將國內外先知學者的思想提前帶到國內的預見性盛會。
2018億歐創新者年會曁第四屆創新獎頒獎盛典詳情連結：
ofollow,noindex" target="_blank">http://suo.im/4N2Qbt
