微軟的兩款聊天機器人為何命運迥異？人類如何應對演算法逐漸滲透的世界？

我們在亞馬遜上網購或者在網飛(Netflix) 上看電影時，我們覺得那是我們自己在選擇。而事實上，演算法影響著我們在亞馬遜上三分之一的決定，在網飛上80% 的決定。更重要的是，演算法也有它自己的偏見，有時會自作主張。

沃頓商學院資訊管理學教授霍桑納格( Kartik Hosanagar ) 在他的新書《人類的機器智慧指南：演算法如何影響生活以及我們如何繼續掌控》

中探討了演算法的決定會有哪些問題，以及人類如何才能繼續控制科技的未來。

他指出，重點是，我們必須“ 更加主動和用心地參與到科技發展的方向中去” 。

以下為編輯後的訪談記錄。

沃頓知識線上：在對於人工智慧(AI) 和機器學習的討論中，有沒有哪些點被忽略了？

卡迪克· 霍桑格納：機器學習是AI 的一個次級領域。人們在討論時，要麼傾向於美化科技，要麼散播恐懼。我的書關注的是如何利用智慧演算法做決定。

有一個核心問題：我們會不會用AI 來做決定？我們是用它來輔助人類做決定嗎？還是讓AI 自主決定？AI 自主決定哪裡會有問題？哪裡會表現較好？人類如何管理？

大家都知道AI 潛力很大，但它在發展中必定會出現問題。比如演算法的決定會錯在哪裡？我們如何確保對此過程有掌控權？

沃頓知識線上：這本書的開頭舉了一些有趣的例子，比如聊天 機器人 。你能用這些例子說說人類是怎麼跟演算法互動的？

霍桑格納：我在本書開頭寫了 微軟 創造的聊天機器人“ 小冰” 。在中國，它叫“ 小冰” 。在其他國家，它叫“Xiaoice” 。這個機器人的頭像是一個少女，它被創造出來是為了跟年輕人進行調皮有趣的對話。這個聊天機器人在中國有4000 萬粉絲。據報道，有大約四分之一的粉絲對小冰說過“ 我愛你” 。

小冰在中國的成功給了微軟啟發，微軟決定在美國測試一款相似的聊天機器人。他們創造了一個說英語的機器人，可以跟人們進行調皮有趣的對話。這個機器人面向的也是年輕人。它在推特上以“Tay” 的名字上線。但是這個機器人很短命，跟小冰的經歷有很大的不同。僅上線不到一個小時，這個機器人就變成了一個性別歧視者、種族歧視者和法西斯主義者。它的推文極具攻擊性。比如它說，“ 希特勒是對的。” 不到24 小時，微軟就關閉了這個賬號。後來，那一年麻省理工大學的《科技評論》把微軟的Tay 評為“ 年度最糟糕科技” 。

這個故事讓我開始思考，為什麼相同的公司製造的兩個相似的聊天機器人會產生如此不同的結果呢？這對我們有什麼啟示呢？

沃頓知識線上：為什麼這兩個產品的體驗會天差地別？

霍桑格納：在嘗試解釋這兩個機器人的行為差別時，我從人類心理學中得到了一個啟示。心理學家用“ 先天” 和“ 後天” 描述人的行為。“ 先天” 是我們的基因組，“ 後天” 是我們的環境。心理學家把一些問題，比如酗酒，一半歸因於先天，一半歸因於後天。我意識到演算法也有先天和後天。演算法的先天不是基因組，而是工程師給它寫的程式碼，就是演算法的邏輯系統。後天是演算法學到的資料。

隨著我們向機器學習走得越來越近，我們逐漸遠離了以前的世界：以前工程師會對一個演算法進行端到端的程式設計，他們可以確定在任何情況下這個演算法的表現。“ 如果發生這種情況的話，你用這種方法應對。如果發生那種情況的話，你換一種方法解決。” 在發展的初期，演算法完全是由“ 先天” 控制的，因為程式設計師給出了詳細的規定，告訴演算法應該怎麼工作。

但是隨著我們進入機器學習時代，我們告訴演算法，“ 這是資料。你自己去學吧。” 所以“ 後天” 的影響力開始粉墨登場。不妨看看Tay 和小冰的命運，在某種程度上它們的分歧來自訓練資料。就小冰來說，創造它的初衷是模仿人是怎麼對話的。而Tay 學習到的是人們是怎麼跟它說話的，然後再把這些反映出來。有很多人故意給Tay 下套，這是“ 後天” 的作用。

但“ 先天” 也起了一定的作用。程式碼裡本應該有一些特定的規則，比如“ 不要說下列這些話” 或者“ 不要參與這些話題” 等等。所以先天和後天的因素都有。我覺得演算法自作主張的行為歸結起來大致就是因為這些。

沃頓知識線上：有一段時間，演算法決定似乎就只是“ 亞馬遜建議你讀什麼書” 或者“ 網飛建議你看哪些電影” 。但因為AI ，演算法決策變得更加複雜。你能舉一些例子嗎？

霍桑格納：是的，演算法遍佈我們的生活。比如在亞馬遜上，我們所做的三分之一以上的決定都受到了演算法推薦的影響，比如“ 買了這個產品的人也買了那個。” 在網飛上，演算法影響著人們80% 以上的觀影活動。演算法推薦也影響著比如約會的推薦。在Tinder 等應用上，大部分配對都是演算法創造的。

演算法也推動著很多職業決定。比如，當你申請貸款時，越來越多批准房貸的決定都是由演算法做的。當你申請工作時，演算法篩選簡歷決定面試人選。它們也做一些事關生死的決定。在美國的法庭上，有演算法可以預測被告人再犯法的可能性，然後法官再做量刑決定。在醫藥行業，我們正進入定製化醫藥時代。兩個症狀相同的人可能會得到不同的治療。治療方案有可能是根據他們的DNA 制定的。演算法引導醫生做出這些決定。

我們正朝著一個方向發展，即演算法還能自主運作，比如 無人駕駛 汽車。

沃頓知識線上：隨著演算法做的決定越來越多，這個世界還有自由意志這回事兒嗎？

霍桑格納：自由意志是一個有趣的概念。我以前都是從哲學的角度看待自由意志的。哲學家認為我們沒有自由意志。但我覺得如今在演算法時代，我們對自由意志有一個字面上的解釋，即最終的決定是否由你在做？

就像我說的，你在亞馬遜上三分之一的選擇都是因為演算法的推薦。你在網飛上80% 的觀看選擇都是因為演算法的推薦。人們在YouTube 所花的70% 的時間都受到演算法推薦的支配。所以演算法並不只是在向我們推薦我們想要的東西。想一想谷歌上的搜尋，我們看到的搜尋結果可能都不到0.01% ，因為我們很少會翻過第一頁。演算法決定了讓我們看哪些頁面。很多選擇都是演算法給我們推薦的。

我們還有自由意志嗎？在某種程度上，有的。但是我們自主決策的能力不如我們想象得那麼大了。我們以為自己在做想做的事情，但其實演算法在不經意間用一些有趣的方式推動著我們的決定。大多數時候，這是一件好事，因為它可以給我們省時間。但有時候，這是被動的，會產生一些後果。

沃頓知識線上：演算法的設計選擇會產生一些什麼樣的意外後果呢？

霍桑格納：比如，你試著優化一個決定的某些方面，可能你成功地改進了這個方面，但是其他一些方面又出錯了。比如，Facebook 用人類編輯來手動管理熱門話題，但又被指責存在左派傾向。所以Facebook 用演算法來管理熱門話題，然後測試它是否存在政治偏見。演算法沒有任何政治偏見，但它又有其他問題，比如假新聞。演算法選擇假新聞，然後傳播這些假新聞。這就是一個意外後果。演算法設計可以在很多方面造成意外的後果。

關於推薦系統以及它們對我們消費產品和瀏覽媒體的影響，我已經做了很多研究。我特別研究了兩種推薦演算法。一種是像亞馬遜那樣，“ 買了這個產品的顧客也買了這個。” 它基於顧客的社交資料。

另一種是演算法嘗試對人們有更深層次的瞭解。它會試著尋找跟使用者興趣相關的東西。舉一個例子，潘多拉音樂盒(Pandora) 。它的音樂推薦不是基於社交資料。潘多拉有非常詳細的資訊，每首歌有超過150 個音樂標籤。比如，節奏怎麼樣，用到哪些樂器？每次你點選喜歡或不喜歡一首歌，他們根據你的傾向來調整標籤推薦。

我研究了這兩種推薦模式，我想看看哪種設計更有助於人們發現獨立歌曲或者非常新穎和小眾的藝術作品。這項研究我做了有好多年了，之前人們傳統的想法是，這些演算法都能助推長尾效應，也就是發掘大家都沒聽過的小眾的、新潮的或者獨立歌曲。但是我發現這些設計差異很大。看別人選擇了什麼的演算法有流行偏見。它總是推薦別人消費的東西，所以它傾向於流行事物，不能向你推薦一些隱藏的好東西。

但是像潘多拉這樣不以流行性為推薦基礎的演算法，它的表現往往好一些。這就是為什麼Spotify 和網飛等公司都改變了它們的演算法設計。它們把這兩種方法結合了起來。它們把一個看他人消費行為的系統，和另一個把隱藏寶物挖掘出來的系統能力做了結合。

沃頓知識線上：我們回到之前你說的，有些演算法自作主張。為什麼會發生這樣的事情，我們可以做什麼？

霍桑格納：我先舉幾個演算法自作主張的例子，然後再說為什麼。我提到了在美國刑事司法系統中，法院使用演算法的例子。2016 年，非盈利組織ProPublica 做了一個報告。他們研究了法院使用的演算法，發現這些演算法有種族偏見。準確來說，他們發現這些演算法錯誤預測黑人被告未來犯罪可能性的概率是白人被告的兩倍。

去年年末，路透社登了一個報道，關於亞馬遜嘗試使用演算法來篩選工作申請。亞馬遜收到一百多萬求職申請，他們要僱傭幾十萬人。這種工作很難手動完成，所以你需要演算法來把這個過程自動化。但是他們發現這些演算法存在性別偏見。它們經常會拒絕女性求職者，即使兩個求職者的資歷相似。亞馬遜對演算法做了測試，發現了這個問題。亞馬遜是個聰明的公司，所以它們決定取消這個計劃。但可能還有其他公司都在用演算法篩選簡歷，這些演算法可能存在種族、性別偏見等。

說到為什麼演算法會跑偏，我覺得有幾個原因。在機器學習的過程中，我們創造了一些適應力更強，表現更好的演算法，但它們容易受資料中存在的偏見影響。比如說，你告訴一個簡歷篩選演算法，“ 這是所有申請人的資料，這是我們實際僱用的人的資料，這是被我們升職的人的資料。現在根據這些資料，你來決定邀請哪些人來面試。” 演算法就會觀察到，在過去你拒絕的申請人中女性較多，或者在工作中你不會給女性升職，它就會學習這種行為。

另一原因是工程師一般只關注一個或兩個公式。就簡歷篩選應用來說，你往往會檢查你的模型的準確度，如果它高度準確，你就不管了，但你並不會關注它是否公平或存在偏見。

沃頓知識線上：那些替我們做決定的自主演算法存在哪些問題？

霍桑格納：一個很大的問題是，在這個過程中，通常沒有人的參與，所以我們就失去了控制。很多研究顯示，當我們的控制力有限時，我們對演算法的信任度就會降低。如果這個過程有人蔘與，使用者發現問題的機率就會提高，這些問題被檢測出來的可能性也會變大。

沃頓知識線上：你在書中講了一個很有趣的故事，是一個病人被診斷出患了塔帕努裡熱(tapanuli fever) 。這對我們有什麼啟示，我們應該給演算法多少信任？

霍桑格納：這個故事講的是，一個病人走進醫生辦公室時身體健康，狀態良好。醫生和病人閒聊了一會兒，最後醫生拿起病理報告，表情一下子變得嚴肅起來。他告訴病人，“ 很抱歉，你得了塔帕努裡熱。” 病人根本就沒有聽說過這種病，所以問它到底是什麼。醫生說，這是一種罕見的疾病，以高致命性出名。他建議，如果病人服用一種特殊的藥，就會大大降低他發病的機率。醫生說，“ 給，這種藥每天吃三回，然後生活照常。”

我問讀者，如果他們是這個病人，他們會覺得安心嗎？你對這種疾病一無所知，也不瞭解它的治療方法。醫生給了你一個選擇，告訴你就這樣做，但他沒有給你很多詳細資訊。所以，我提出了一個問題：如果是演算法給你的這個建議，說你得了罕見的疾病，我們希望你服用這種藥，不給你其他資訊，你會覺得舒服嗎？

塔帕努裡熱根本不是一種真正的疾病。這種病是福爾摩斯小說中虛構的，即使在原版小說中，應該得塔帕努裡熱的那個人實際上也並沒有得這種病。但拋開這些不說，這給我們提出了一個透明度的問題。當我們不知道一個決定是怎麼做出的時候，我們還願意相信這個決定嗎？

我想強調的是，有時候我們對演算法的透明度要求比對人的要求要高。但在現實中，很多公司用演算法做決定，卻不告訴我們這些決定是怎麼做出的。

研究顯示，我們不喜歡這種方式。比如，斯坦福大學的一個博士生對一個計算學生成績的演算法做了研究，並觀察當學生拿到成績時，向他們解釋這個成績是怎麼得來的和不解釋時他們分別會有什麼反應。正如預期的那樣，當學生得到解釋時，他們會更信任這一結果。

但為什麼在現實中，我們卻得不到關於這些決定的透明資訊？我覺得我們需要一定的透明度，比如做這個決定使用了哪些資料？比如，當你申請貸款時，你的申請被拒絕了，我們想知道為什麼會這樣。當你申請一份工作時，你被拒絕了，如果你知道演算法不僅評估了你申請職位時提交的材料，還看了你的社交媒體內容，這對你是有幫助的。演算法使用了哪些資料，做出一個決定的關鍵因素是什麼，這些透明資訊非常重要。

沃頓知識線上：在這本書的結尾，你建議制定《演算法權利法案》（The Algorithmic Bill of Rights ）。這到底是什麼？

霍桑格納：《演算法權利法案》是我從美國憲法《權利法案》中借的一個概念。《權利法案》的緣由是開國之父們在起草憲法時，有些人擔心我們會創造出一個權力過大的政府，所以《權利法案》被創造出來保護公民。

今天，我們所面臨的是科技公司勢力太大，人們覺得消費者需要保護。《演算法權利法案》針對的就是這個問題。許多消費者覺得他們面對大型科技公司及其部署的演算法時無能為力。我覺得消費者實際上是有一些力量的，這些力量就在於我們的知識、選票和金錢。

知識是說我們不應該被動地使用這些技術。我們應該主動和謹慎。我們應該知道這些技術是如何做決定的。看看Facebook 是如何改變產品設計的。資料加密等等這些變化都是因為使用者的推動。這說明了當用戶不滿時，企業就會做出改變。

投票也是一方面。我們要知道哪些代表瞭解演算法的來龍去脈和它的挑戰，然後為他們投票。問題是這些監管者會做些什麼來保護我們？

這就是《演算法權利法案》發揮作用的地方。我提議的這個權利法案有幾個關鍵支柱。一個是透明度，即做決定時使用的資料以及為什麼使用這些資料。做出一個決定時最重要的因素是什麼？

歐洲的《一般資料保護條例》(GDPR) 有一定的規定，比如解釋權和公司使用的資料資訊。我覺得透明度是必要的，公司應該提供透明資訊。

另一個支柱是使用者控制。我們不可能處在一個對科技完全沒有控制的環境裡。比如，我們應該能夠通過簡單的指令告訴Alexa ，“ 除非我允許，否則你不能聽這個房子裡的任何對話。” 目前還沒有這樣的規定。

控制非常重要。你看看Facebook 假新聞的問題，兩年前使用者還不能提醒Facebook 的演算法，告訴它“ 這條內容是假新聞。” 但現在，只要點選兩下，Fcebook 就會知道你的頁面上有一條新聞有冒犯的言論或者是假的。這種反饋對於演算法的自我糾正非常重要。

最後，我一直都在強調公司在部署演算法前應該對它進行正式審查，尤其是在招聘這種社會影響重大的情況中。審計過程必須由一個獨立於演算法開發團隊之外的組織來完成。審計過程很重要，因為它可以確保對演算法的其他方面進行檢查，比如這個模型的預測精準度，以及其它方面，比如隱私、偏見和公平度。

沃頓知識線上：最後你還想強調哪些點？

霍桑格納：雖然我在書中提到了很多問題，但我實際上是相信演算法的。因為研究顯示，演算法總體來說比人的偏見更少。更重要的是，從長期來看，解決演算法的偏見比解決人的偏見要容易得多。

我想傳遞的資訊是不要“ 擔心” 演算法，要“ 更加主動和有意地參與這個過程，影響科技發展的未來方向” 。

在未來，演算法將會幫助我們做出更好的決定。科技和我們都將經歷成長的痛苦。