當AI表現出種族或性別歧視，除了震驚我們還能做什麼？
原文以 AI can be sexist and racist — it’s time to make it fair 為標題 釋出在2018年7月18日的《自然》評論上
原文作者：斯坦福大學生物醫學資料科學教授James Zou & 斯坦福大學科學史教授 Londa Schiebinger
谷歌翻譯（Google Translate）在將西班牙語新聞翻譯成英語時，通常將提及女人的句子翻譯成“他說”或“他寫道”。尼康相機中用來提醒拍照者照片中的人有沒有眨眼的軟體有時會把亞洲人識別為總在眨眼。單詞嵌入——一個用來處理和分析大量自然語言資料的流行演算法——會把歐裔美國人的姓名識別為“正面”詞彙，而非裔美國人的姓名識別為“負面”詞彙。
在有偏差的資料集上訓練出的演算法通常只能將左邊的圖片識別為“新娘”。
圖片來源：iStock/Getty（左圖）；Prakash Singh/AFP/Getty（右圖）
在這三個例子之外，人們還發現了其他很多人工智慧（AI）系統性地歧視特定人群的例證。
決策偏見並不是AI獨有的問題。但正如很多研究者所指出的，由於AI的應用範圍越來越大，因此解決AI偏見至關重要。考慮到該問題普遍存在，我們需要一種系統性的解決方案。我們在此列舉出幾種可能的策略。
偏差資料
無論是在學術界還是產業界，電腦科學家都會在訓練出更復雜的演算法時獲得讚譽（從發表論文到媒體報道均是如此）。相對而言，很少有人關注資料是如何收集、處理和歸類的。
導致AI產生偏見的一個主要因素是訓練資料。大多數機器學習任務都是使用大型、帶標註的資料集來訓練的。例如，用於影象分類的深度神經網路通常會使用ImageNet進行訓練，其中包含了逾1400萬張帶標籤的圖片。在自然語言處理領域，標準演算法是在包含上億單詞的語料庫上訓練的。
研究者們通常會利用網站來構建資料集，例如使用特定的單詞搜尋Google Images或Google News，或是從維基百科等易於訪問的資訊網站上收集。這些資料集接下來會被標註出來——通常由研究生來做，或是通過Amazon Mechanical Turk這樣的眾包網站進行。
這種方法會在無意中產生出包含了性別、種族和文化偏見的資料集。
通常來說，會有一些人群被代表過度，而另一些則代表不足。ImageNet推動了計算機視覺研究，但是其中超過45%的資料來源於美國，而美國人只佔世界人口的4%。相反，中國和印度加起來只佔其中3%的資料量，而兩國人口卻佔了世界人口的36%。
缺乏地理上的多樣性可以在一定程度上解釋為什麼 計算機視覺演算法 會把 傳統的身著白色婚紗的美國新娘 標註為“ 新娘”、“禮服” 、 “女人”、“婚禮” ，而 北印度新娘 的照片則會 被標註為“表演”和“戲服” 。
在醫學領域，機器學習的預測特別易受訓練資料集中的偏差影響，因為醫學資料的生成和標註都相當昂貴。去年，研究者使用深度學習從照片中識別面板癌。他們在包含129450張圖片的資料集上訓練了演算法模型，其中60%是從Google Images上搜索而來。但是其中只有5%的圖片是深膚色人群，而演算法沒有在深膚色人群中測試過。因此該演算法在不同人群中的表現可能相差極大。
偏見的另一個來源可以歸於演算法本身。
一個常見的機器學習程式會試圖最大化訓練資料集的整體預測準確率。如果訓練資料集中某類人群的出現頻率遠多於另一人群，那麼程式就會為佔比更多的人群進行優化，這樣才可以提高整體的準確率。電腦科學家會在“測試”集上評估演算法效果，而這些通常也是原始訓練資料集的一個隨機子集，因此很可能會包含同樣的偏見。
有缺陷的演算法還會造成惡性迴圈，使偏見越發嚴重。舉例來說，使用統計方法訓練出的系統，例如谷歌翻譯，會預設使用男性代詞。這是因為 英語語料庫中男性代詞對女性代詞的比例為2:1。
更糟糕的是，每次翻譯程式預設翻出“他說”，就會提高網路上男性代詞的比例——這可能會逆轉女性在性別平等上所獲得的艱難勝利。事實上， 20世紀60年代男性代詞對女性代詞的比例高達4:1，之後因為大規模的社會變革才降到了目前的水平。
調整均衡
資料集中的偏差常常體現出了制度基礎和社會權力關係中更深、更隱蔽的不均衡。例如， 維基百科 看起來是一個豐富多樣的資料來源，但是該網站 上的人物頁面裡只有18%是女性。在關於女性的條目中，連結到男性條目的數量遠比男性條目連結到女性條目的數量要多 ，因此搜尋引擎裡就更容易找到關於男性的條目。女性條目裡還包含了更多的伴侶和家人資訊。
因此，在構建訓練資料集時必須進行技術處理，並將社會因素納入考慮範圍。具體說來，應當採取措施來保證資料集的多元化，不要使特定人群代表不足。也就是說，我們不能侷限於方便的分類方式——“女人/男人”，“黑人/白人”等——這些分類方式無法捕捉到性別和種族認同上的複雜性。
一些研究者已經開始這方面的工作了。電腦科學家最近發現，商用的面部識別系統在識別深膚色女性時，錯誤率達到了35%，而識別淺膚色男性的錯誤率僅為0.8%。為了解決這一問題，研究者們篩選出了一組新的圖片資料集，其中包含了在性別和種族上保持均衡的1270人。用這組資料重新訓練已有的面部分類演算法並調整引數後，應可以提高其準確率。
為了幫助鑑定偏見的來源，我們推薦標註者使用標準化的元資料，系統性地標註訓練資料集的內容。有幾個研究組已經在著手設計“資料表”，表中包含了機器學習資料集的元資料和“營養成分標籤”。
所有訓練資料集均應說明資料是如何收集和標註的。如果資料包含了有關人類的資訊，那就應當提供地域、性別、種族和其他人口學資訊（見下圖“圖片的力量”）。如果資料標註是通過眾包完成的，那就應當列出眾包參與者的基本資訊，另外也要列出向眾包參與者提出的確切要求或指示。
資料管理者應當儘可能提供與資料相關的描述語的精確定義。例如，在犯罪司法資料裡，闡明訓練演算法模型時所使用的“犯罪”型別可以使該模型的應用範圍和解釋方式更加明確。
演算法內的修正
很多期刊已經要求作者為實驗資料提供這類資訊，作為發表的先決條件。例如，《自然》要求作者將DNA微陣列資料上傳至可公開訪問的資料庫Gene Expression Omnibus，而該資料庫則要求作者提交實驗方法的元資料。
我們推薦機器學習會議（如國際機器學習大會）的組織者也將標準化的元資料作為論文提交和同行評議的關鍵組成。OpenML這樣的資料庫和Kaggle這樣的AI競賽平臺也應當如此。
最後，電腦科學家應努力開發能夠穩定應對資料中的人類偏見的演算法。
目前人們已經在進行各種各樣的嘗試。其中一種是加入約束條件，本質上說就是調整機器學習模型，讓它能夠在不同的群體和相似的個體間均有相似的表現。類似的一種嘗試是修改學習演算法，減少它對種族、性別、收入等敏感特性以及所有與此相關的資訊的依賴。
這種新出現的除偏嘗試確實有潛力，但是需要在現實場景中進一步調整和評估。
但是，這類解決方案還有一個尚無解法的問題，即種族、性別和其他相關資訊必須被準確記錄下來。除非資料集中已經包含了適當的分類，否則就很難確定到底應該給模型加入什麼樣的約束條件，或是做出什麼樣的修正。這種解決方案還要求演算法設計者預先決定好他們想要避免的偏見型別。
一個互補的方法是使用機器學習本身來識別並量化演算法和資料中的偏見。這叫做“執行AI審計”，其中“審計員”是一個會系統性監測原始機器學習模型的演算法，以便識別模型和訓練資料集中的偏見。
例如，我們最近的工作是使用單詞嵌入這一流行的機器學習演算法來量化美國曆史上的刻板印象。單詞嵌入會把每個英語單詞對映到空間中的一個點（即一個幾何向量），向量之間的距離表示單詞間語義上的相似性。它可以捕捉到類比關係：例如“男人”對“國王”正如“女人”對“女王”。
我們開發了一個演算法——AI審計員——來查詢其他性別相關的類比關係。最後發現了“男人”對“醫生”正如“女人”對“護士”；或是“男人”對“程式設計師”正如“女人”對“家庭主婦”的關係。
一旦審計員發現了單詞嵌入和原始文字中的刻板印象，就有可能通過修改單詞向量的位置來減少偏見。更重要的是，識別出刻板印象的發展趨勢之後，在歷史文字上訓練的演算法就可以相應除偏。
例如，我們對Google Books中1910-1990年每十年一組的美國文章進行了嵌入，由此 發現了對亞裔美國人令人震驚的態度轉變。1910年，他們被描述為“怪物”和“野蠻人”，到了1990年就變成了“拘謹”和“敏感 ”——最大的變化發生在二戰之後和上世紀80年代的移民潮時期。
正確的事
當電腦科學家、倫理學家、社會科學家等人努力提高資料和AI的公平性時，我們所有人都應該思考“ 公平”到底應該指什麼 。資料是應當表現現有的世界，還是應當表現大多數人所追求的世界？
又比如，用來評估應聘者的AI工具是 應當評價應聘者是否有能力，還是應聘者是否能融入工作環境？ 應該讓誰來決定哪種“公平”才是更為優先的？
為了解決這些問題，以及評估訓練資料集和演算法在更大範圍內的影響，機器學習的研究者應當去和社會科學家以及人文、性別、醫學、環境和法律領域的專家合作。
現在已有各方在努力促成這類合作，例如我們在斯坦福大學參與的“以人為本的人工智慧”專案。這種合作必須從本科生開始。學生在學習演算法的時候，就應該在社會大背景下考察AI。
計算機、程式和程序塑造了我們的態度、行為和文化。AI正在改變我們的經濟和社會，改變我們交流的方式，改變我們的行政和政治。 不平等在我們的社會中積疾已久，不能讓AI在不經意間延續甚至惡化這一問題了。
Nature|doi:10.1038/d41586-018-05707-8
本文由施普林格·自然上海辦公室負責翻譯。中文內容僅供參考，一切內容以英文原版為準。
閱讀英文原文：https://www.nature.com/articles/d41586-018-05707-8
宣告：本文來自Nature自然科研，版權歸作者所有。文章內容僅代表作者獨立觀點，不代表安全內參立場，轉載目的在於傳遞更多資訊。如有侵權，請聯絡 [email protected]。