資料大可以︱讓90個政府部門開放629套資料的紐約是怎麼做到的(下)

科技 · 發表 2018-11-30 07:30:00

摘要：原標題：資料大可以︱讓90個政府部門開放629套資料的紐約是怎麼做到的(下)雙十二特惠活動現已開啟編輯團隊原文/ Katie Pyzyk、紐約開放資料辦公室翻譯/醜冰欽、鄧吉浩、郭豪飛、王楚悅、王崗校驗/文獻/張芮編輯/眾山小排版/白琳一城市交通覽譯者萌像&a...

雙十二特惠活動現已開啟

編輯團隊

原文/ Katie Pyzyk、紐約開放資料辦公室

翻譯/醜冰欽、鄧吉浩、郭豪飛、王楚悅、王崗

校驗/文獻/張芮

編輯/眾山小 排版/白琳

一

城市

交通

覽

譯者萌像&導讀

您是否想過開放大資料如何簡化城市政務工作流程、提升工作效率，如何讓每一位市民能夠通過大資料來觸控到一個立體的城市？我們用案例來讓您感受。您是否好奇“開放大資料”到底有多大，範圍有多廣、參與度有多高？我們用資料來告訴您答案。您也許還想知道讓開放大資料制度永葆活力的政策是啥，開放大資料的意義在哪？我們最後給您呈上！

故事六、開放資料開啟大門

城市公園管理員、心理學家、校園安全責任人、兒童保護專家和城市規劃師，這些只是紐約人在參加紐約市公務員考試中能申請的部分職位。這些考試作為百年曆史制度的一部分，由紐約市行政事務部負責。這個制度以透明化和公共問責製為基礎，旨在通過公平、一致和擇優的方式來評估有興趣從事公共服務的候選人。過去的幾十年裡，公務員考試的結果都會貼在曼哈頓中央大街1號市政大樓的牆上，讓準員工可以去那裡檢視自己的排名。如今，這些清單以資料集的形式在資料平臺上公佈，讓那些渴望加入30萬公務員行列的紐約人無需親自前往曼哈頓下城也能瞭解自己的考試結果。2018年6月，當紐約市公佈了備受期待的消防員公務員考試結果時，公務員資料庫的網路流量增加了16倍，說明成千上萬名候選人在開放資料平臺上查看了自己的排名。

圖一、紐約消防員，圖片來自市長攝影辦公室

除了讓城市工作的流程更方便外，資料還能為那些想在城市做生意的人建立一個公正透明的流程。紐約市的少數民族和婦女企業(M/WBE)組織增加了少數民族和婦女企業家與城市簽訂合同並發展業務的機會。當符合條件的企業邁出第一步並獲得資質後，他們對包括城市代理商和私人承包商在內的潛在買家的吸引力就會增強。在紐約開放資料平臺上，你可以找到數以千計認證的少數民族和婦女企業（M/WBEs）、本地企業(LBE)和新興企業(EBE)。他們有工程師、律師、水管工、平面設計師、餐廳供應商和建築師。為促進合作，小企業服務部會與其他城市機構和私人承包商共享這些資料。這些資料還能讓城市設定基準，並評估其為這些企業增加合作機會所取得的進展。例如，資料顯示，M/WBEs簽訂的合同價值佔總價值的百分比從15財年的8.0%上升到16財年的14.3%。去年，紐約市政府破紀錄的將其800億美元的預算中的10億美元合同(也是一個開放資料庫)給了M/WBEs。

故事七、數字化改革為深入瞭解立體城市提供機會

隨著紐約市的發展，建築部正在升級資訊科技基礎設施以響應21世紀的新需求。

在過去的幾十年裡，申請建築施工許可證、投訴非法建築活動或記錄建築檢查結果都需要將紙質檔案帶到或郵寄給建築部（DOB）。如今，所有紙質檔案都分階段錄入該部門的線上系統——DOB NOW裡。這意味著房屋業主、開發商和建築從業者可以直接從他們的家或辦公室上傳檔案。資料由行業專業人員直接輸入系統，省去了紙質文件和資料錄入。提交後，資訊幾乎立即能在紐約公開資料平臺上查到。

圖二、建築部的巡查員Shirley Hemmings，圖片來自紐約媒體

DOB NOW讓使用者能更容易的與建築部直接線上溝通。它還使文件和格式標準化，讓部門能更準確和更便捷的處理這些資訊。這些資料鏈能實現比以前紙質系統資訊更有效的分析。有了統一的線上系統， DOB能快速、準確且有意義的分析五個行政區的建設動態，更有效地調動其執法資源，並確定在部門內提高效率的方法。

2017年12月13日，DOB批准在布魯克林的皇冠街(Crown Street)安裝一個人行道遮擋棚——這是一種常規但容易遭受誤解的行為。通過對比成千上萬類似的行人遮陽篷會發現一個現代街景最顯著的特徵:紐約人每天在上班和上學的路上都要經過這類臨時建築。與腳手架不同，人行道遮擋棚的目的是保護行人在建築施工、拆除或維修過程中避免遭受傷害。如果DOB發現建築物外立面不安全，根據法律要求，業主須採取行動，並在建築物前安裝行人保護裝置，例如在人行道上設定臨時遮擋棚直至建築物對公眾不再構成危險為止。人行道臨時遮擋棚也反映了紐約市正在發生的建設熱潮。每個臨時遮擋棚都有一份許可證，表明它已獲得了DOB的批准。

這些人行道臨時遮擋棚的許可申請可以通過DOB NOW中的“建設”版塊提交。這些資料被用於建立實時更新的地圖，讓公眾能全面瞭解這一重要的安全設施和城市建築景觀。在這張地圖上，任何人都可以找到城市裡每一個活躍人行道上臨時遮擋棚的位置，它建了多久，誰負責維護它。由於有了這張地圖和資料，建設部可以追蹤城市內的每一個臨時遮擋棚，當它維護不善或不再需要時，建設部可以迅速採取行動。

電梯是另一個例子。自行車、汽車、渡輪和地鐵幫助紐約人從一個街區抵達另一個街區。但在日益向垂直髮展的生活環境中，我們也需要電梯來實現上下移動。隨著大型、可負擔、市場定價的住宅樓在紐約市五個區拔地而起，紐約市日益增長的人口越來越多地依賴電梯作為日常生活必需品。此刻，保證這座城市裡8萬多部電梯的安全、可靠、保養良好比以往任何時候都重要。為了確保業主履行維護電梯的法律責任，DOB正依靠改進過的資料收集方式和新技術來加深對它的瞭解。

電梯檢查使電梯成為紐約市最安全的交通方式之一——每年數十億次被使用且事故發生率極低。截止到2018年9月17日， DOB要求每年超過16萬次的電梯檢查資料通過DOB NOW平臺的“安全”版塊提交，最終彙總成為紐約市開放資料平臺的資料集。紐約市的電梯每年都要接受兩次檢查:一次是由一名紐約市的專案代表執行，另一次是與大廈業主簽訂合同的電梯公司執行。當DOB查出電梯不安全或不合適執行時便視為違規，並要求業主進行改善。公司也可通過紐約市開放資料平臺上的違規記錄從另一方面來了解紐約市房地產的情況。當地的一家創業公司的租房邏輯（Rentlogic）就是利用紐約市開放資料平臺上的違規記錄(包括電梯違規記錄)給建築評分，讓租戶在簽署租約前能瞭解這個建築的使用歷史。

二、從數字看開放資料

1、全市的資料釋出

2018財年釋出了629個新的資料庫，這標誌著紐約開放資料平臺中的資料庫數總量超過了2000個。

2018財年新建了38個自動化設施，這標誌著紐約開放資料平臺中的自動化資料集的總數量達到了246個。

經Socrata分析，紐約在開放資料平臺上提供了數十億行的資料

2、市民參與

超過1800位紐約市民在2018紐約開放資料週中至少參加了一項活動。

230多家獨立的城市機構參與承諾。

所有符合《開放資料法》條件的機構，都必須承諾使其社群在第一時間參與其公佈的資料。這些承諾可以在《開放資料遵從計劃》中找到，內容包括在社交媒體上傳播資料庫，利用機構自己的資料製作課程，在公眾場合或學校裡演講，以及在部落格撰寫關於機構資料的文章。

由MODA、Esri和市政廳共同發起的活動，吸引了近100名現場出席的觀眾，以及過百名觀看直播的觀眾，他們就給定的主題對機構的資料進行討論。

3、網站流量

100多萬名獨立的使用者。

“使用者”定義為使用data.cityofnewyork.us的（新使用者和返回使用者）的總數。 Google會根據使用者的IP地址以及首次訪問的網站為使用者分配唯一識別符號。使用其他裝置訪問站點的返回使用者將被統計為單獨的使用者。

5500多萬個來自應用的請求。

Credfi，We3資料平臺和MySummons是最頻繁使用開放資料門戶介面的應用程式。

600多萬次瀏覽量。

一次頁面瀏覽定義為在瀏覽器中載入一次頁面。該指標僅捕獲了紐約市開放資料庫總使用量的一小部分。在一份名為“灰色市場”的對紐約開放資料格局分析的報告中，MODA發現，開放資料平臺的網路流量僅佔城市資料使用量的一小部分。大多數則是在二級資料市場中使用公共資料，如學術圖書館，專有資料產品和基於查詢的Web應用程式。

54.2％的使用者通過自然搜尋進入開放資料平臺。

只有五分之一的人直接通過網站找到紐約開放資料。今年5月，開放資料團隊釋出了關於開放資料使用者訪問nyc.gov/data並查詢相關資料途徑的新研究，這一功能的開發是基於網路流量分析和對開放資料使用者進行的定性研究。

（表格見PDF檔）

三、改善政策，強制執行

紐約開放資料由紐約《開放資料法》支援，這是世界上最健全的市政公開資料政策之一。該法律建立了一個框架，要求在適當的時候把城市使用的相同資料向公眾開放。這項法律所規定的開放資料政策是美國其他城市無法比較的，過去四年中市議會通過的修正案旨在幫助該計劃在未來繼續蓬勃發展。

具有開創性的《開放資料法》——2012年第11號地方法——要求市長機構在2018年12月31日之前公佈其公共資料，公佈過程由MODA和DoITT主導。在過去五年的每個夏天，DoITT和MODA都提出了紐約市開放資料計劃，該計劃通過一系列尚待發布的、由城市管理的公共資料集來提供城市進展的最新資訊。隨著城市發展，尚待公佈的、與城市管理相關的公共資料集也會進行更新。自上次更新（2017年7月至2018年6月之間，或2018財年）以來：38個機構或部門公佈了629個數據集，其中38個數據集是自動化的。

·健康與心理衛生部（DOHMH）資料集包括屋頂飲水艙檢查、養狗許可證以及MenuStat（一個來自全國頂級連鎖餐廳的營養和選單資訊線上資料庫）等。

· 交通部（DOT）街道公共設施資料，包括公交站點候車亭、自行車停車棚、自動公廁、報刊亭和停車咪表等。

· 來自房屋保護與發展部的住房開發專案接受城市財政援助（第44號地方法）相關資料庫的一系列資料表。

· 市長防止家庭暴力辦公室（OCDV）下的紐約社群委員會發布了2017年親密伴侶暴力事件的相關快照。

· 市長經濟機遇辦公室釋出了2005-2016間的NYCgov貧困標準。

· 來自紐約市議會的自由支配資金。

· 419個數據集已經被新增到未來公佈計劃中。

· 隨著各機構收集和維護的資料量的增長，開放資料協調員和開放資料團隊繼續為今後的釋出確定新的公共資料集。

· 97個不具備“公共資料集”資格的資料集被移出平臺。

· 刪除或替換低價值、不準確或過時的資料集對於改善使用者搜尋和查詢所需資料至關重要。2018年1月，開放資料團隊宣佈了一項新的資料刪除政策，該政策符合涉及資料保留的2015年第107號地方法。

2017年12月，2017年第244號和第251號地方法獲得了批准，延長了《開放資料法》的期限，並制定了新的年度報告要求。今年，開放資料團隊首次在一個綜合的跟蹤器平臺中報告了所有資料集的詳細目錄。現在，每個資料集都包含基於其計劃和實際釋出日期的元資料，以及自動化可行性評價。在一個地方彙編這些資訊使開放資料團隊以及公眾能更好地瞭解機構遵守的資料標準、及時釋出的資訊和對資料集的更新——這種機制意味著更有效地讓機構肩負起責任。這些新的報告要求所展現的觀點包括：

- 302個數據集可以自動化。但目前還沒有創造一個優先資料集的列表，這種列表可以便於在來年發展成自動化。

- 89%的機構資料集都有資料字典。

-80％符合地理空間標準的資料集已被地理編碼。

除了為政府工作方式帶來了透明度外，開放資料在許多城市運作方面都有效用。強制遵守開放資料政策促進了更好的資料管理。開放資料團隊致力於幫助機構遵守開放資料政策，不僅是為了遵守法律規定，更因為開放資料是全市資料戰略的核心組成部分。

圖三、照片：Kisha Bwenge / Reboot

紐約開放資料是一個全市範圍內最好的資料專案

作為一個高度可見、合法和獨特的跨機構資料專案，紐約開放資料已經開發了一個強大的，涉及100多個城市機構和部門的內部通訊和管理結構。在指定的開放資料協調員的協助下與機構合作，有助於機構法律、IT、專案官員和管理人員之間通過協作，進而依照法律改善資料工作流程。此外，將開放資料協調員作為一個實踐群體進行管理，為跨領域、有組織的學習資料和分析創造了途徑。3月，開放資料團隊與Socrata、BetaNYC、陽光基金會和全市行政服務部門合作舉辦了紐約市開放資料協調員第一次全日制培訓，並在資料釋出和公民參與方面讓專家提供了關於最佳實踐的見解。

“紐約市處於試驗開放資料政策執行新機制的最前沿。”

“紐約市的開放資料審計是一種很有希望的問責模式。”

——Stephen Larrick

陽光基金會前開放城市主任

2017年12月7日

開放資料可以提高資料質量、改善資料治理

當開放資料協調員代理者與機構資料所有者就資料釋出進行對話時，這些所有者開始考慮除在交易之外資料的其他用途。把資料看作共享資產進行共治，這有利於各部門更好地進行資訊管理工作。開發全面的資料清單、釋出資料集推進時間線也能促進資料質量把控（以前可能未能嘗試過）。2015年第107號地方法要求各機構為每個資料集生成資料字典。由於這一嘗試，現在89％的資料集都有資料字典，其中許多資料集首次記錄了元資料。

開放資料是資料共享和分析實踐的基礎

維護和發展機構知識的最佳方式是使其能夠通過網路搜尋被發現。因此，在許多情況下，紐約開放資料平臺是一個理想的、內部機構間的資料共享平臺。平臺允許紐約市機構的分析師使用其他機構的資料集。當城市分析師構建的模型的資料支援來自於由紐約市開放資料時，分析結果很容易被驗證，模型可以被擴充套件和維護，而不是花大價錢依賴於非公共資料或專有IT系統。在對27個城市機構的58位分析師進行的調查中，大多數人表示紐約開放資料是他們工作的主要資料來源。MODA分析師實行開源分析，提倡在資料科學成果中儘可能使用開放資料集。更多使用紐約市開放資料集的資料分析專案可在nyc.gov/data上的開放資料專案庫中找到。

開放資料是眾包式獲取公共專業資料的渠道

紐約開放資料平臺每月有近100000個獨立使用者，於是聘請了大量資料專家來識別一流的資料標準。2016年，MODA眾包了一個開放資料地理空間標準，並向當地社群開放資料使用者和地理資訊系統（GIS）專家徵求意見，形成了標準化的地理空間領域，如街道地址、經緯度、稅號和鄰里列表區。在2016年12月，一組高頻率使用者合作開發了一個新的資料字典模板，該模板被機構用來為文件缺失的資料集開發元資料。今年夏天早些時候，開放資料團隊與Tiny Panther諮詢公司、Sloan基金會以及METRO（大都會圖書館理事會）進行合作，為元資料的質量稽核了100個使用最頻繁的資料集，這項工作被提升到了一個新的高度。這項倡議的成果將於今年晚些時候公佈。

開放資料有助於機構遵守其他公共資訊要求

紐約開放資料由一個網路介面提供支援，允許使用者在任何瀏覽器上訪問分類表格資料，從而為披露某種型別公共資訊的機構（已授權）提供可行的解決方案。通過MODA、DoITT、記錄和資訊服務部之間的諒解備忘錄，各機構可以通過在開放資料平臺上以機器可讀的形式維護資料集，以符合法定資料報告要求，而不是將表格資料的PDF檔案傳輸到市立圖書館。