Python 爬蟲第三篇(迴圈爬取多個網頁)
本篇是 python 爬蟲的第三篇,在前面兩篇Python 爬蟲第一篇(urllib+regex) 和Python 爬蟲第二篇(urllib+BeautifulSoup) 中介紹瞭如何獲取給定網址的網頁資訊,並解析其中的內容。本篇將更進一步,根據給定網址獲取並解析給定網址及其相關聯網址中的內容。要實現這些功能,我們需要解決以下問題:
- 如何持續不斷的獲取網址,並讀取相關內容。
- 如何判斷網址是否已經讀取過。
文中用到的程式碼均已上傳到 github ,在這裡就不再貼出完整的程式碼了。
如何持續不斷的獲取網址,並讀取相關內容?
要想讀取網頁內容,首先要獲取網頁的 url,但是我們又不能將所有的 url 都輸入到程式中,此時就需要我們從已知的 url 中解析出其他的 url,從而不間斷的獲取新的 url讀取新的內容,獲取新的 url 可以通過解析含有 href 屬性的 a 標籤來實現,具體程式碼如下:
for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')): if len(self.__url_set) > self.__max_url_count: return url = link.get('href')
以上程式碼解析出所有的 a 標籤中的 href 屬性內容以https://list.szlcsc
和https://item.szlcsc
為開頭的 url 連線。在這裡還是設定了一個最大的 url 解析量「由於在測試中需要一個停止條件」,預設值為1000。
從一個 url 中獲取到更多的 url 後,我們該怎麼去讀取?以什麼順序去讀取?不可能獲取一個 url 就讀取一個 url,此時就需要一個儲存 url 的地方「最好是可以順序儲存順序取出的」,那麼最好的方法就是使用隊列了,以下是將 url 放入佇列的程式碼:
for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')): if len(self.__url_set) > self.__max_url_count: return url = link.get('href') if url not in self.__url_set: self.__url_set.add(url) self.__url_queue.put(url)
以下是從佇列中取出 url 的程式碼:
while not self.__url_queue.empty(): count = count + 1 url = self.__url_queue.get() result = self.get_html(url)
以上兩段程式碼完成了一個 url 從存入佇列到從佇列中出的全過程。
如何判斷網址是否已經讀取過?
這個問題實際上就是 url 去重的問題,常用的 url 去重的方法主要有以下幾種:
- url儲存在資料庫中(效率低)
- 將 url 儲存到集合中,利用集合的無重複元素的特性來去重,缺點是佔用空間大。
- 將 url 通過 md5 等雜湊演算法後儲存到集合中去重,可以大幅度提高內容利用率。
- 使用布隆過濾器「Bloom Filter」,在時間和空間方面有巨大的優勢,但是存在一定的誤算率,不適用於高準確度的場合。
本篇我們使用集合來對 url 進行去重,其他方法大家可以自行搜尋一下,網上有很多這方面的資料。
集合中的元素無次序,且不可重複。元素不可重複的特性用來對 url 去重在合適不過了,通過判斷 url 是否已經在集合中可以快速判斷該 url 是否已經讀取過。具體看以下程式碼:
if url not in self.__url_set: self.__url_set.add(url) self.__url_queue.put(url)
以上程式碼首先判斷 url 是否存在於 __url_set 中,如果不存在則將該 url 新增到 __url_set 中,同時將次 url 放入讀取佇列中進行讀取。這樣既對得到的每個 url 進行讀取,又避免了多次讀取同一個 url 造成資源的浪費。