波音空難啟示錄: 我信任這家公司, 所以我才信任「自動駕駛」
編者按：
波音空難事件發生時，我第一個聯想到的其實是去年 5 月發生的四川航空 3U8633 航班迫降事件。
這起迫降事件在很大程度上由於機長及其組員極其出色的機動性處理能力，從而避免了一場災難性事故——所有乘客都倖免於難。
也正因為如此，對機長劉傳健的讚美聲鋪天蓋地，甚至在幾個月後他便被清華經管學院錄取。
直到上個月，「英雄機長」的這個名頭仍然在被媒體所「消費」，被「安排」與當時的乘客在電視臺節目現場見面並擁抱，「重溫」當時千鈞一髮的時刻。
是的，我一直在關注 3U8633 航班事故的後續發展，然而這場本應該對飛機零部件以及故障排查系統進行責難的事故報道方向，不出意外地全部將焦點轉移到了「人」的力量上。
去年 6 月以後，關於這架空客飛機碎掉的玻璃質量問題，以及故障排查系統為何沒有任何反饋，沒有任何報道以及官方宣告。
難道說，像波音這種造成如此嚴重的兩次空難，後果已經釀成，就應該公開進行長達幾個月的第三方故障調查，並揹負全球的責難聲；而川航迫降事件，反正靠機長迫降大家活下來了，結果是好的，飛機本身的問題就不那麼嚴重了？
如此看來，下一次假如遇到類似的事故，真的還得全部指望能遇到一個有高超飛行技術的好機長；下下次是，下下下次也是……
一次成功的迫降，恰恰把很多迫切需要解決的問題掩蓋了，如果直到發生像波音墜落這樣的重大災難才進行徹底反思，是不是就太晚了。
而實際上，飛行機身各個零部件，自動駕駛系統，故障排查系統，安全冗餘系統等等，以及飛機制造商與航空公司的態度，甚至於國家有關部門的監管措施，都應該進行持續檢討。
既然選擇信任一種交通工具，那麼我們每個人的安全就從來都不是靠單一維度來保證的。
作為一名科技工作者，很多疑惑最終只能匯成一句話：無論成熟與否，每一門技術的改進都永無盡頭。
編譯 | 高璇；編輯 | 宇多田；參考來源 | Quartz。
近幾年來許多國外關於自動駕駛的研討會，總是會不由自主地提到航空航天產業。
譬如，當專家想要說明自動駕駛汽車的安全性時，他們會以現代飛機極好的安全記錄為證，這顯然很合理。
目前，在全球範圍內，每 300 萬次大型商業客運航班中僅可能發生一起致命事故（自 20 世紀 70 年代以來下降了 16 倍）。
而去年，美國航空公司遭遇了自 2009 年以來的首次空難。
但是，飛行員絕不應該因此獲得所有誇讚。
商用飛機在每次飛行時，飛行員操縱的時間僅約三至六分鐘，主要是在起飛和降落期間。其餘時間均由自動化系統負責。
至少 10 年前，商用飛機就可在無人協助的情況下飛行。然而他們沒有推進這項技術向其他產業發展的原因不是技術本身，而是擔心規則或人們的心理問題。
專家告訴記者，航空之旅一直被視為「自動駕駛安全」的黃金標準。然而繼波音公司之後，飛機再也不能與自動駕駛汽車進行類比。
我們都清楚，在過去的六個月裡，波音公司的 737 Max 8 客機發生兩起墜機事故，導致 346 人死亡。
但在很大程度上，失敗的不是這項技術（儘管飛行感測器確實在兩個航班上都出現故障，並且軟體缺少防止錯誤讀數的系統）。
為了更新其 20 世紀 60 年代（付費牆）飛機設計以提高載客量，並以更低的成本實現更高的燃油效率，這家航空航天公司及其監管機構排查了一連串故障（幾乎每一步都有錯誤），對系統做了一系列修正。
而這樣做的結果卻導致，兩名飛行機組人員無法從自動駕駛系統中奪回飛機控制權，而自動駕駛系統多次迫使飛機向下俯衝。
根據航空業一項預設的規定，安全裝置是作為昂貴的飛機附屬產品出售的，而不是作為標配裝置。與此同時，圍繞新設計進行的「飛行員再培訓計劃」也幾乎被忽略了（據一名飛行員透露，僅僅只學習「一個小時的 iPad 課程」）。
儘管對飛機的機身和發動機進行了重新設計，但波音公司對這些變化還是輕描淡寫。但實際上，這些變化改變了飛機的操控方式，比如增加了防止失速的軟體系統。
當啟用防失速系統時，其他軟體系統無法阻止該軟體強制 Max 8 進入俯衝狀態，並且駕駛艙指示器並未向飛行員展示如何在危機中控制系統。
此外，在飛機研發期間，美國聯邦航空管理局（FAA）沒有提出重大異議。
當出現問題後，波音公司也拒絕任何批評，只是開始緩慢地解決問題，並聲稱政府官員在第二次事故發生前沒有讓飛機停飛。
很顯然，這些決定將原本可預防的技術錯誤轉變為導致數百人死亡的系統性失誤。
所以，責任到底在誰？
繼波音之後，我們不得不考慮這場災難與自動駕駛汽車的相關性，因為我們開始重新思考一個問題——
「選擇信任一輛自動駕駛汽車」，僅僅是取決於「我們是否可以相信這門技術」嗎？還是在於「我們是否可以完全信任開發此類技術的公司和監管機構」？
當涉及他人生命時，波音公司的冷血做法暗示了自動駕駛汽車（AV）將面臨的問題。用於自動駕駛汽車的軟體將比飛機上的軟體複雜得多，而且都未經測試。
汽車廠商們，你們需要注意
737 Max 令人痛心的死亡人數至少讓一位汽車業高管感到擔憂。
戴姆勒執行長 Dieter Zetsche 於 3 月 24 日在中國的一次會議上表示，波音公司的危機顯示了自動演算法出現問題的後果。
Zetsche 認為：「即使自動駕駛汽車比人類駕駛汽車安全十倍，一個引人注目的事故發生也會使自動駕駛得到廣泛認可倍加艱難。
如果你看到波音公司發生的，那麼你可以想象當這樣一個系統在道路上出現事故時會發生什麼。」
事實上，這就是美國聯邦航空局的由來。
1956 年，兩架商業航空公司在大峽谷上空相撞，這是當時商業航空歷史上最致命的事故，造成 128 人死亡。
這場悲劇促使美國成立了聯邦航空局。甚至它的前身——美國民用航空管理局，也只是在萊特兄弟製造出第一架動力飛機幾十年後才成立的。
當下，持懷疑態度的公眾目前正在尋找關於自動駕駛安全性的線索，因為汽車公司（和政府）正在競相推出它們。然而到目前為止，這一切還沒得到保障。
皮尤研究中心於 2017 年的一項調查顯示，只有不到一半的美國人想乘坐無人駕駛汽車，42％的美國人認為「不放心」是很大一個原因。
有意思的是，自從 2014 年提出這個問題以來，公眾態度幾乎沒有任何改變。
這裡強調公眾的態度，並不是說人類駕駛就絕對安全。
每年，全世界有超過 100 萬人死於車禍。在美國，每年有 3.7 萬人死於交通事故，其中 94% 是人為失誤造成的。但截止目前，無人駕駛汽車是否真的更安全的確鑿證據，還沒有任何人能拿的出來。
此外，自動駕駛汽車的里程仍然無法與人類駕駛員的里程數進行比較，因為自動駕駛汽車目前的行駛地點和條件都嚴重受限。
因此，一旦發生一個失敗案例，就讓人無法忘卻。
例如去年 3 月，Uber 的自動駕駛汽車（帶有安全駕駛員）在亞利桑那州坦佩市夜間撞擊了一名女子。另外還有至少三起致命事故，都是由於特斯拉司機將過多的控制權交給了汽車的自動駕駛系統。
南卡羅來納大學法學研究自動駕駛汽車影響力的 Bryant Walker Smith 教授就此在文章中寫道：
「在自動駕駛行業的短暫歷史中，這些『令人擔憂』的事故在歷史前期就很快就發生了；
在美國，人類安全標準是每 1 億英里里程大約只發生一起事故，自動駕駛仍遠未達到這個標準。」
自我監督與政府監管的博弈
我們現在追逐人工智慧技術的世界，恰恰是一個讓計算機在不確定條件和有潛在致命性的情況下為我們做出判斷的世界。
它們的錯誤往往比我們對工廠和客機現代自動化系統所預期的更為頻發。因為開放道路上不可預測的環境比建築物內或商業領空複雜得多。
因此，「安全監管」必將在自動駕駛行業中佔據非常大的比重。
加州大學伯克利分校的研究工程師 Steve Shladover 表示，波音公司的失敗表明，我們需要一個更加強大的監管機構來避免波音這樣的錯誤。
這家市值 2110 億美元的公司在製造火箭和飛機方面有數十年的經驗，但不知為何卻忽視了自動駕駛系統的基本設計原則。
譬如，墜落的 737 Max 飛機的飛行員幾乎沒有自救的選擇。波音公司堅持使用紙質手冊（付費牆），而不是用電子系統更新其駕駛艙顯示器，因為這樣一來會牽扯到更多的飛行員培訓時間與成本。
而後果之一就是，去年印尼獅航的飛行員為了控制墜入爪哇海的噴氣飛機，一直在翻閱手冊（最終，機上 189 名乘客全部遇難）。
「我希望許多從事自動駕駛系統工作的人在波音事件後，會更加謹慎地考慮這些事情，希望減少類似問題發生的風險，」Shladover 在電子郵件中說。
「我們確實需要對自動化系統開發人員進行有意義的獨立監管，而不僅僅依靠他們來監管自己。」
當然，這種監管不太可能來自美國。
多年來，特別是在特朗普政府執政期間，越來越多的企業被放任自流。美國聯邦航空局已經將其適航認證程式逐步移交給飛機制造商。
對於 737 Max 飛行軟體，美國聯邦航空局批准了波音公司自己的工程師團隊「代表 FAA 進行檢查和測試，並頒發證書」。該機構後來也批准了波音公司的調查結果。
如今，美國政府正在對此進行刑事調查，並審查美國聯邦航空局對 737 Max 的認證程式。
不得不說，「將監督權進行外包」的模式逐漸走向巔峰。
在第二次 737 墜機事故發生後的最初階段，美國政府似乎屈于波音公司的壓力。執行長 Dennis Muilenberg 直接向特朗普總統呼籲要求 737 Max 要繼續飛行。
後來，儘管特朗普宣佈在美國停飛 737Max 8 與 9，但就在這項命令頒佈的三天前，數十個就國家已經頒佈了禁飛令。
而特朗普當時告訴記者：
「我們本可以不在今天做出這個決定，本可以推遲兩天再說，我們可能沒有必要去這樣做。但我覺得這樣做在人民心理上以及許多其他方面都非常重要。」
FAA 代理局長 Dan Elwell 後來則聲稱這個決定是」基於事實的」，因為「獲得的新衛星資料跟蹤了飛航模式」。
不過外界認為，特朗普提名的下一任美國聯邦航空局局長候選者，是前達美航空高管 Steve Dickson，這種出身說明其不太可能改變行業對監管機構的影響力。（在此之前，特朗普曾考慮過提名他的私人飛行員 John Dunkin 擔任此職，但遭到國會的反對。）
那麼，你信任誰？
目前還不清楚 737 Max 墜機事件會給公眾留下多久的印象。
Smith 認為，一旦一項技術出現，最終技術的好處往往會消除人們的不信任感。
譬如，在上面提到的選擇接受自動駕駛汽車的 44％的美國人中，避免壓力、可同時進行多工處理、彰顯獨立性以及「非常酷」是他們給出的主要理由。
顯然，一旦一項技術變得無處不在，即使安全問題還沒有得到充分解決，人們也會開始學著去接受它。
因此，Smith 認為，這意味著我們需要更多地關注「開發和部署試駕汽車的公司是否值得信任」，而不是「公眾是否會接受自動駕駛汽車」。
事故可能會發生，繼而大眾對這項技術的信任也會受損。但是，有所準備的企業與政府問責制卻能夠改善人們對這項技術的印象。
儘管美國聯邦航空局最近馬失前蹄，但整個航空業卻對墜機情況進行了詳盡研究，並通過增加新功能和重新設計飛機，積極迫使航空公司和製造商改善安全記錄。
然而，矽谷企業家，同時也是斯坦福大學兼職教授的 Steve Blank 卻認為，這種行為放到汽車行業從目前來看似乎沒有可比性。
「汽車製造商和車輛安全監管機構大多是被動的而不是主動實施監管。每種車型都沒有公開的審批流程。
製造商根據聯邦安全標準對其車輛進行自我認證，只有在發現缺陷後，監管機構才會採取行動，當缺陷嚴重時才會啟動召回。
然而，自動駕駛車隊與複雜的半自動駕駛飛機相比，的確有很多共同之處。無論如何，主動測試機制是有意義的，但目前沒有任何存在的監管框架可以做到這一點。」
目前，美國運輸部的最新政策允許汽車公司們在沒有安全測試的情況下自行認證他們的新自動駕駛技術。
因此，當有數百萬輛手動、半自動和自動駕駛汽車湧入我們的道路時，旨在鼓勵創新並降低製造成本的 20 世紀監管框架是否能夠持續發揮作用？
這一點尚未可知。
「一些國會和政府要員不信任這些技術，不信任技術的開發者，不信任技術的監管者。
鑑於這種信任的缺失（當然，這種缺失是理所應當的），很難想象國會與政府在這一領域的監管許可權和監管彈性。」
其實最終，政府與公司之間，公司與乘客之間，政府與個人之間信任的此消彼長，仍然取決於這項技術真正的能力。而現在，你是否願意將自己的信任賦予給自動駕駛公司？