Python 爬蟲第一篇（urllib+regex）
摘要：
爬蟲的主要用途即從網站上獲取網頁，並將網頁中的有用資訊解析出來。從網站上獲取網頁內容可以通過 python 內建的 urllib 模組來實現，至於資訊的解析說起來比較複雜，python 中可以使用的模組也有很多，今天我們主要使用正則表示式「python 內建的 re 模組」來實現資料的解析。 ...
爬蟲的主要用途即從網站上獲取網頁，並將網頁中的有用資訊解析出來。從網站上獲取網頁內容可以通過 python 內建的 urllib 模組來實現，至於資訊的解析說起來比較複雜，python 中可以使用的模組也有很多，今天我們主要使用正則表示式「python 內建的 re 模組」來實現資料的解析。
前面有對 python 內建的 urllib 模組和 re 模組做過簡單的介紹有興趣的朋友可以瞭解一下
今天我們準備使用 urllib 和 re 模組來實現爬蟲的功能將網頁中的資料資料讀取出來。
確定目標
我們的目標是獲取立創商城上元器件的階梯價格「不同的採購數量對應的價格不同」。先來看下網頁的圖片
image
我們想要的資料在這裡
image
實施方案
首先我們可以後去到該網頁的網址 ' https://item.szlcsc.com/213095.html' 。可以使用 urllib.urlopen 方法讀取網頁內容
url = 'https://item.szlcsc.com/213095.html'
response = urllib2.urlopen(url)
html_text = response.read().decode('utf-8')
要獲取階梯價格的資訊，我們先來看一下這段所對應的 html 內容：
image
從圖上可以看出每個階梯價格有 tr 標籤進行分割，而每行的中的數量和對應的價格使用 td 標籤進行顯示。我們可以使用以下正則表示式來提取數量和價格內容。
# 提取每個階梯價格的正則表示式 '<tr class="sample_list_tr">(.*?)</tr>' # 提取一行中的數量 '<td width="40%" align="right">(.*?)</td>' # 提取一行中的價格 "<p class='goldenrod'>(.*?)</p>"
現在我們來看一下完整的程式
# -*- coding:utf-8 -*-
import urllib2
import re
def find_number(str):
'''
獲取每一行中的數量範圍
'''
res = r'<td width="40%" align="right">(.*?)</td>'
find_str = re.findall(res, str, re.S)[0]
# 去除單位
res_2 = '[1-9]{1}[\\d ~\\s]*\\d'
find_str = re.findall(res_2, find_str, re.S)[0]
# 去除字串中的空格
strinfo = re.compile('[\\s]')
return re.sub(strinfo, '', find_str)
def find_price(str):
'''
獲取每一行中的價格資訊
'''
res = r"<p class='goldenrod'>(.*?)</p>"
find_str = re.findall(res, str, re.S)
# 若無對應的價格是顯示 None
if len(find_str):
# 去除價格中的單位
res_2 = '[1-9]{1}[\\d\\.]*'
find_str = re.findall(res_2, find_str[0], re.S)
return find_str[0]
else:
return 'None'
url = 'https://item.szlcsc.com/213095.html'
# 讀取網頁內容，並解碼相關內容
response = urllib2.urlopen(url)
html_text = response.read().decode('utf-8')
res_tr = r'<tr class="sample_list_tr">(.*?)</tr>'
m_tr = re.findall(res_tr, html_text, re.S)
print '%4s |%10s |%5s' %('序號', '數量', '單價')
print "-------------------------"
for n, value in enumerate(m_tr):
print '%4d | %10s | %5s' %(n + 1, find_number(value), find_price(value))
print "-------------------------"
檢驗結果
程式碼已經編寫完成，現在我們來驗證一下執行的效果,以上程式碼的執行結果如下：
序號 |數量 |單價 ------------------------- 1 |1~9 |9.21 ------------------------- 2 |10~29 |6.81 ------------------------- 3 |30~99 |6.37 ------------------------- 4 |100~499 |5.93 ------------------------- 5 |500~999 |5.73 ------------------------- 6 |1000 |5.64 -------------------------
對比執行結果與前面我們看到的網頁資訊，可以看到程式正常執行且得到正確的結果。
想在我們將網址更換為 ' https://item.szlcsc.com/8796.html' ，網頁顯示如下：
image
此時我們再次執行程式，得到以下結果：
序號 |數量 |單價 ------------------------- 1 |1~9 | 13.82 ------------------------- 2 |10~29 | 11.75 ------------------------- 3 |30~99 | 11.37 ------------------------- 4 |100~499 | 10.99 ------------------------- 5 |500~999 | 10.82 ------------------------- 6 |1000~1999 | 10.61 ------------------------- 7 |2000 |None -------------------------
可以看到以上結果與網頁中的內容完全相同，程式碼完成了我們的預定功能。
注意：此程式碼在 python 2.7.10 版本驗證。