機器學習的偏見
公眾號/學術plus
機器學習的偏見
來源：https://www.nature.com
編譯：plus評論員 張濤
As machine learning infiltrates society, scientists are trying to help ward off injustice. 隨著機器學習對社會各領域的滲透，科學家正努力去防止一些不公平的現象產生。
一、背景
人工智慧無處不在，但在科學家真正信任人工智慧之前，首先需要去理解機器是如何學習的。
隨著人工智慧技術的應用，計算機的決策會逐漸被人們所接受，但一些決策可能會影響人們的生活。比如，機器學習演算法應用於虐童家庭預測和犯罪預測等。每天頭條新聞都有人說孩子們處於危險中，而演算法正在幫助公共部門改善兒童的危險處境。2015年，Rhema Vaithianathan在賓夕法尼亞州匹茲堡解釋了軟體怎麼樣幫我們改善兒童的危險處境。從匹茲堡的早期執行效果來看，演算法預測分析技術似乎是兒童保護領域在過去20年間最令人興奮的創新之一。在刑事司法領域，演算法預測分析也已經被確立為法官和假釋委員會的工具。
這些演算法預測工具應該是一致、準確、嚴謹的。但對這些工具的監督卻非常有限，因為沒有人知道有多少人在使用這樣的工具。2016年有美國記者稱判定未來犯罪風險的系統會歧視黑人被告，演算法運作本身的保密性（不透明性）激起了公眾更為強烈的不滿，而且大部分演算法是由私營公司所開發、銷售和嚴密保護的。
在這樣的背景下，政府也在嘗試讓這樣的軟體更具可解釋性。2017年12月11日，美國紐約市議會通過了《演算法問責法案》，以解決演算法歧視問題。根據該法案，紐約市將成立一個由自動化決策系統專家和受自動化決策系統影響的公民組織代表組成的工作組，專門監督市政機構使用的自動決策演算法的公平性、問責性和透明度。該小組負責推動政府決策演算法開源，使公眾瞭解市政機構自動化決策的過程，並就如何改進演算法問責制和避免演算法歧視提出了一些建議。
今年年初，法國稱會將政府使用的演算法進行公開。6月英國政府釋出了《資料倫理框架》，要求在公共領域使用資料要滿足透明性和可解釋性。5月底實施的歐盟GDPR中的內容也在推進演算法可解釋性。
Rhema Vaithianathan建立演算法來幫助標記少兒虐待的案例
科學家正面臨一個複雜的問題，就是演算法公平到底意味著什麼？像Vaithianathan這樣正在與公共組織協作去建立負責、高效的軟體的研究人員，必須解決的難題就是自動化的工具如何引入偏見或擴充套件當前的不平等性，尤其是當這種工具被應用到本來就有歧視的社會系統時。
理論電腦科學家Suresh Venkatasubramanian稱，自動化決策工具軟體引發的問題其實並不是新問題。評定犯罪或信用風險的工具已經存在數十年了。但隨著更大的資料集和更復雜的模型的廣泛應用，就不能忽視其中存在的倫理問題。
二、對公平的權衡
2014年，當Allegheny人類服務部的官員提出使用自動化的工具時，他們並沒有決定是否要使用這些工具。但他們想公開這樣的新系統。該部門資料分析研究和評估辦公室副主任Erin Dalton說，“他個人非常反對使用政府資金提出黑盒的解決方案”。
Allegheny Family Screening Tool（AFST）專案是2016年8月發起的。對每個打進熱線的電話，呼叫中心職員會看到一個自動風險評定系統給出的分值，範圍為1～20，分值越大代表風險越高。目前的情況是呼叫中心職員得出的結論並不必須與演算法給出的風險分值一致，但政府部門希望這兩個結果能夠保持一致性。
預測犯罪改革
隨著AFST專案的應用，Dalton希望有更多的人能幫助發現該系統是否存在偏見。2016年，她與卡內基梅隆大學的資料分析師Alexandra Chouldechova一起分析了該軟體是否對特定群體存在歧視。Chouldechova也一直在研究演算法本身可能存在的一些偏見。
今年5月，新聞網站ProPublica報道說佛羅里達州Broward縣法官使用了一款可以幫助決定罪犯在審判前是否可以保釋的商業軟體COMPAS。記者通過分析發現該軟體對黑人被告存在偏見，因為該軟體對黑人的打分有很大比例是假陽性的，也就是說軟體給出的風險值很高，但在之後被沒有被控訴。COMPAS演算法的開發者稱該工具是沒有偏見的，在預測評分較高的白人被告和黑人被告再犯罪的準確率是相當的。
三、如何定義公平（FAIR）
研究演算法偏見的研究人員說有許多方法來定義公平，而其中一些方法是互相矛盾的。
假設刑事司法使用的系統可以給兩組人（藍色和紫色）評定再次被捕的風險。歷史資料表明，紫色組被捕的概率略高，所以模型更容易會將紫色組的人分類為高風險。即使模型開發人員盡力去彌補這種偏見，但模型根據資料集的學習可能也會得出這樣的關聯。
高風險的狀態不能完美預測被捕率，但演算法開發者嘗試讓預測是公正的：對兩組人來說，高風險對應2年內被捕的概率是2/3。未來被捕的概率可能不會遵循過去的模型。但舉一個簡單的例子，假設藍色組中有3/10最終被捕，紫色組中有6/10最終被捕。
在藍色組中，1/7的人被誤認為是高風險的；紫色組中，1/2的人被誤認為是高風險的。所以紫色組看起來更像是“假陽性的”——被誤認為是高風險的。
因為藍色和紫色組成員以不同的比例被再次逮捕，所以很難去得到一個預測的公平性，也無法讓假陽性率相等。有人就會認為紫色組的假陽性率太高本身就是一種歧視。但也有研究人員認為這並不足以說明演算法存在偏見。
事實上，有很多的方法來定義公平。那麼從數學的角度講，電腦科學家Arvind Narayanan在今年2月的會議上做了題為“21 fairness definitions and their politics”的演講。一些研究人員也研究了ProPublica的案例，他們認為這確實不足以證明演算法存在偏見；但確實映射出了一種統計假象。
有些人認為ProPublica強調許多機構缺乏資源和合適的演算法評估工具。芝加哥大學資料科學和公共政策中心主任Rayid Ghani說，僱傭Northpointe的政府機關沒有給他們一個好的定義，政府需要學習和訓練如何向這些系統尋求幫助，如何定義度量的標準來確保供應商、諮詢者和研究者給出的系統的公平的。
Allegheny縣的經驗說明了駕馭這些問題的難度。Chouldechova發現他們的公司也存在同樣的統計不平衡性。該模型有一些不想要的特徵，這種錯誤率在種族和民族方面的期望要高很多，但是原因尚不清楚。Allegheny縣和Vaithianathan團隊也在考慮使用其他的模型來降低這種不平衡性。
雖然統計不平衡性是一個問題，演算法中的不公平可能會加強社會中的不公平現象。比如， COMPAS這樣的演算法可能會用來預測未來犯罪情況，但只能利用一些可度量的指標來進行預測，比如再次被捕。即使我們準確預測了一些事情，但我們準確預測的事情也可能是不公平的。
卡姆登（美國新澤西州）的檢查用自動化工具來預測哪些區域需要巡邏。圖片來源:Timothy Clary/AFP/Getty
Allegheny使用的工具同樣飽受詬病。作家、政治學者Virginia Eubanks說，不論演算法是不是準確的，輸入本身就是不公平的，因為黑人和兩種人種（兩種膚色結合）的家庭更容易被舉報。而且，因為該模型使用的資料是Allegheny系統中的公共服務資訊，因為使用這些服務的家庭總體來說比較窮，所以演算法對這種家庭更多監管本身也是不公平的。Dalton承認資料本身是有限的，但她認為這樣的工具還是很有必要的。
四、演算法透明性和限制
芝加哥大學、劍橋大學、斯坦福等高校和科研機構都在進行這類演算法的研究。地區檢察官辦公室分析師Maria McKee說， “我們知道什麼是對的，什麼是公平的，但是我們沒有工具或研究成果來準確地解釋。”
演算法確實需要更多的透明性，當演算法不審計、不評審、不進行公開討論、形成閉環的時候就會產生一些問題。但演算法如何公開也是一個問題，而且演算法的透明性和隱私性也可能會存在衝突。洩漏太多演算法工作原理的資訊可能會讓有些人去探測系統。
演算法審計的一個障礙是機構不會收集預測工具使用的過程資訊和效能資訊。演算法不透明的原因是因為沒有可共享的資訊。California立法機關起草了一個法案草案，呼籲風險評定工具幫助減少被告必須支付保釋金的頻率，因為人們認為這是一種懲罰低收入被告的方式。Goel希望該法案批准收集法官不同意工具產生的結果的情況。這樣做的目的是在維護公共安全的同時儘量減少監禁的情況。因為需要一些正當程式（due process）基礎設施來確保演算法是可審計的。今年4月，AI Now Institute就列出了公共機構感興趣的演算法決策工具負責任的應用，還呼籲社群參與來給予市民申訴有關自己的決策的能力。
許多人也希望法律可以強制實現這樣的目標。在美國，一些消費者保護規則在有不利於公民的決策產生時，會給公民一個詳細的解釋。在法國，關於解釋的權利和爭議處理的立法可以追溯到20世紀70年代。
最大範圍的一次測試就是歐盟的GDPR，該法案於今年5月25日正式實施。其中的一些條款看似在推動演算法可審計性，比如自動決策過程例項中的邏輯相關資訊的權利等。但牛津網際網路研究院資料倫理學家Brent Mittelstadt認為，GDPR也可能會阻礙演算法可審計性。因為它為那些需要評估公平性的人創造了一個雷區。
測試演算法是否存在偏見最好的辦法就是讓相關人員瞭解相關的屬性。但GDPR對敏感資訊使用的限制太嚴厲、罰金太高，以致評估演算法的公司可能沒有太多的動機去處理這些資訊。所以說，這對我們評估公平性的能力來說可能是一種限制。
而且一些GDPR的規則只適用於全自動化的系統，這會將那些演算法做出參考決策、人類做最終決定的情況排除在外。
五、演算法審計
同時，研究人員正在向那些並未受到公共監管的領域中的演算法歧視進行檢測。企業可能並不願意去討論他們是如何解決公平性的，因為這首先承認了他們存在公平性的問題。即使存在這樣的問題，企業的行為可能也只是去緩解而不是徹底消除歧視。最近，微軟和Facebook都宣告正在開發檢測演算法歧視的工具。
還有研究人員嘗試從外部去找出商業演算法中的歧視問題。比如，通過向求職網站投遞簡歷來檢測性別歧視問題。今年5月，Ghani釋出了一個開源軟體Aequitas，該軟體可以幫助工程師、政策制定者、資料分析師等來審計機器學習模型中的歧視問題。
還有研究人員選擇了不同的研究方向。比如，刑事司法應用和其他領域目前主要是構建演算法模型來預測犯罪。還有一種更好的方式就是找出人們犯罪的影響因素，然後進行干預，達到降低犯罪率的目的。
Vaithianathan目前仍在繼續推廣她的虐童預測模型，同時她也意識到需要構建更好的演算法。在複雜的系統中，演算法不可能像直升機一樣直上直下，必須要有理解全域性的人來幫助實施。但無論如何都會遇到一些挑戰，所以在沒有直接答案和完美解決方案之前，演算法透明應該是最好的策略。
“If you can’t be right,
be honest.”
Nature 558 , 357-360 (2018) doi: 10.1038/d41586-018-05469-3