Towards Measuring the Effectiveness of Telephony Blacklists
出處：NDSS’18
原文連結： ofollow,noindex" target="_blank">http://cyber.gatech.edu/sites/default/files/images/towards_measuring_the_effectiveness_of_telephony_blacklists.pdf
背景資訊：
本文是美國佐治亞理工學院的研究人員發表在NDSS18上的研究。這篇論文研究瞭如何有效地阻攔惡意電話。現在有很多惡意電話會利用一些網路技術 （機器人呼叫，聲音模仿，號碼欺騙等等）對手機使用者進行騷擾或詐騙。常見的防護方法就是建立黑名單。目前也有很多APP或裝置安全服務在建立這些黑名單。但是具體如何建立黑名單，黑名單效果怎麼樣都是未公開的。所以這篇文章通過自己收集資料，並利用不同型別資料建立多種黑名單並評估，進而分析黑名單的效果。
資料收集：
收集惡意號碼的途徑主要有兩種：群眾舉報，通過大量測試號碼（honeypot）等待被動攻擊。再根據收集資料是否包含詳細通話內容，將所有資料可以分為四類：
Context-Less Data:
1）FTC dataset (FTC)：群眾在美國聯邦貿易委員會舉報的號碼，出於隱私保護，這裡只能拿到惡意號碼和時間，沒有其它資訊。 共1.56 million 條舉報，300,000 不同號碼 （February to June 2016）。 2）Honeypot call detail records (CDR)：honeypot接到的電話，同樣包含來電號碼，honeypot號碼，及時間資訊。 共200,000 惡意號碼，58,000 目標號碼（honeypot號碼）（February to June 2016）。
Context-Rich Data:
Crowd-sourced online complaints (COC): 一些三方網站（800notes.com, MrNumber.com等）接到的舉報，包含具體內容文字描述。 600,000條舉報（Dec 1, 2015 and May 20, 2016） Honeypot call transcripts (HCT)：honeypot接到的電話，包含錄音記錄。 19,090 語音記錄， 9,434 惡意號碼（February 17, 2016 to May 31, 2016）
以下是具體資料分析： 
每個dataset資料量的時間分佈：週期波谷是因為週末會減少。斷檔是因為一些原因導致某段時間沒有收集資料。
相同號碼的資料量，有很大一部分號碼只被舉報幾次或被honeypot檢測到幾次。
每個號碼被honeypot檢測到與被舉報的時間差，大部分幾乎是同時。
建立黑名單：
Context-less blacklisting:
1）blacklist using CDR (honeypot接到的電話): 可能存在的噪聲：誤撥電話 建立黑名單過程：過濾，首先根據number of calls 和 number of destination honey pot numbers， 來過濾次數較少的號碼；評分：同樣根據單位時間內這兩項資料來計算評分。閾值：根據CDR與FTC資料交集內號碼的評分來決定閾值。
2）blacklist using FTC (官方舉報號碼): 可能存在的噪聲：舉報時打錯字 根據舉報數量過濾次數少的號碼。
3）blacklist using COCNC (有內容的三方網站舉報)： 這裡忽略內容描述，和FTC類似。
Context-rich blacklisting：
4）blacklist using HTC (honeypot接到的帶錄音的電話): 建立黑名單過程：主題：首先通過語音分析提取關鍵詞，定義惡意主題; 分類：根據計算權重值，決定每個號碼是否屬於某個主題。 最後根據這個權重值決定是否列入黑名單。
5）blacklist using COC (有內容的三方網站舉報): 首先將次數少的號碼去掉。 之後和HTC型別，先確定主題。這裡是文字解析，會比語音複雜 （語音大部分是機器人固定語音，文字更多拼寫錯誤，且描述太簡略）。
評估
黑名單資料分析：
舉報和被動攻擊的號碼差別較大。因為 honey pot 的號碼很多是被棄用的企業號碼，而舉報的被攻擊號碼更多是個人號碼。因此惡意號碼會不太相同。 context-less的黑名單較多，因為有內容的需要根據內容來區分，這個主題匹配比較嚴格。
黑名單可用性分析：
這裡利用兩個三方的黑名單來評估 Youmail檢測數惡意的號碼87%都在作者的黑名單中，遺漏的號碼在FTC中，但是舉報次數太少被過濾。如果作者不過濾，兩個黑名單有98%相似度。 Truecaller檢測數惡意的號碼只有13%在作者的黑名單中，因為Truecaller只要接到一次舉報就加入黑名單，如果只考慮Truecaller接到舉報次數大於5的號碼，其中75%都包含在作者黑名單中。 這說明作者的黑名單和現實的黑名單類似，因此可以用來評估現實中黑名單的效果。 作者還利用Whitepages分析黑名單中號碼來源：
VoIP利用網路IP打電話，toll-free免費的機構服務電話，landline固定線路 大部分號碼沒有使用者資訊，5%沒有運營商，67%是VoIP。 Whitepages只認為22%號碼是惡意的，說明Whitepages的惡意檢測效果不是很好。
黑名單效果分析：
每隔一天做一次實驗，用這一天之前的資料建立黑名單，來攔截接下來一天的電話，計算每天的攔截率。 Context-less blacklisting攔截率高於Context-rich blacklisting
誤報率分析：
自己準備白名單，100,000 phone numbers listed across 15 different major US cities and 10 different business categories 只有10個被包含進了黑名單，誤報率很低。
其它
最後作者還簡單分析了下，相同主題可能出現在不同的資料庫中，相同的號碼也可能用來不同的主題。