Python-定時爬取指定城市天氣(一)-傳送給關心的微信好友

摘要： 一、背景 上班的日子總是3點一線，家裡，公司和上班的路徑，對於一個特別懶得我來說，經常遇到上班路上下雨了，而我卻沒帶傘，多麼痛的領悟。最近對python有一種狂熱的學習熱情，寫了4年多的C++程式碼，對於python我不能說簡單，但是他做東西確實太快了，現有的第三方資源真的炒雞多，用的我也...

一、背景

上班的日子總是3點一線，家裡，公司和上班的路徑，對於一個特別懶得我來說，經常遇到上班路上下雨了，而我卻沒帶傘，多麼痛的領悟。最近對python有一種狂熱的學習熱情，寫了4年多的C++程式碼，對於python我不能說簡單，但是他做東西確實太快了，現有的第三方資源真的炒雞多，用的我也是不亦樂乎。除了上班忘記帶傘，每天重複性的工作還有很多，比如上下班打卡、每個禮拜的週報，還有如果有關心的女神，也可以做定時傳送心裡話，或者定時提醒等各種服務。有時候想如果有一個人能按時提醒我就好了，這種想法也就停留了那麼幾分鐘就被自己pass掉了，因為別人也可能忘記啊。。。那麼這件事是不是可以交給程式來做呢！畢竟程式可是會老老實實的做重複性的工作，而且他們樂此不疲。

上述問題的場景大多都是需要程式在指定時間、或者指定場合提醒我們該幹什麼了，本篇文章就定時天氣提醒服務來做開篇，講述使用Python怎麼完成這樣一個任務，既然這樣，那我們就開始構思我們的程式吧

二、構思

看過背景中的需求描述，要實現這個功能，我們需要解決以下這麼幾個問題：

1、爬取天氣資訊，那麼接下來就產生第二個問題了

2、動態獲取指定城市天氣

3、傳送天氣資訊給指定微信好友

4、定時觸發爬取動作

5、怎麼關聯微信賬號

下面我們將一步一步解決上述幾個問題，並實現我們的需求

三、爬取天氣

解決問題1：

對於使用過爬蟲的同學來說，爬取天氣資訊並不難，之前也瞭解過一些爬取web資訊的程式碼，簡單的爬蟲無非就是那麼幾步

1、確定爬取的url，使用瀏覽器開啟

2、F12檢視網頁佈局資訊

3、使用xpath或者bs4進行節點定位

4、拿到頁面資訊

5、自己拼接爬取到的資訊

6、寫檔案、寫資料庫、傳送網路等等

這裡貼下我之前寫的幾個簡單爬蟲：

1、 ofollow,noindex" target="_blank">Python-爬取校花網視訊(單執行緒和多執行緒版本)

2、 Python-爬取妹子圖(單執行緒和多執行緒版本)

3、 python爬蟲Scrapy(一)-我爬了boss資料 ，這個應該還有個下篇，後面待續

下面是爬取城市天氣的python方法，需要注意一點的是getWeath介面的引數city_code，這是一個全國城市編碼，每個城市都是唯一的，這個表格我已經整理成了一個txt文件，後續放原始碼的時候會一併提供。

 1 headers = {
 2"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
 3}
 4 
 5 def getWeath(city_code):
 6try:
 7url = f'http://www.weather.com.cn/weather/{city_code}.shtml'
 8resp = requests.get(url, headers = headers)
 9except BaseException as e:
10print(e)
11return {}
12 
13resp.encoding = 'utf-8'
14soup = BeautifulSoup(resp.text, 'html.parser')
15tagToday = soup.find('p', class_ = "tem")#第一個包含class="tem"的p標籤即為存放今天天氣資料的標籤
16try:
17temperatureHigh = tagToday.span.string#有時候這個最高溫度是不顯示的，此時利用第二天的最高溫度代替。
18except AttributeError:
19temperatureHigh = tagToday.find_next('p', class_="tem").span.string#獲取第二天的最高溫度代替
20 
21temperatureLow = tagToday.i.string#獲取最低溫度
22weather = soup.find('p', class_ = "wea").string #獲取天氣
23wind = soup.find('p', class_ = "win") #獲取風力
24clothes = soup.find('li', class_ = "li3 hot") #穿衣指數
25 
26return {'溫度':f'{temperatureHigh}/{temperatureLow}'
27, '天氣':weather
28, '風力':wind.i.string
29, '穿衣':clothes.a.span.string + ',' + clothes.a.p.string}

上述方法可以獲取一個城市的天氣資訊，並儲存在一個字典中，我們要傳送給好友，還需要對其進行字串處理，處理程式碼如下：

1 def strDic(dic):
2str_weather = ''
3for key in dic:
4str_weather += key + ':' + dic[key]
5str_weather += '\n'
6return str_weather

全國城市編碼如下圖所示，每個城市的編碼都是一個9位的數字組成，獲取天氣資訊時是通過指定該編碼進行查詢。

四、傳送給指定好友

解決問題3：傳送訊息給好友

解決問題5：怎麼關聯微信賬號，使用wechat_sender庫

我們自己爬取到的天氣資訊怎麼和微信能扯上關係呢，這個時候就要提到我之前寫過的一篇文章 微信聊天機器人-儲存好友分享訊息 ，沒有看過的同學可以快速瀏覽一遍，簡單來說就是登陸一個web版本的微信賬號，在我們的電腦上，做這麼一個機器人使用了庫 wxpy ，要想和這個機器人勾搭上，那我們就需要請出我們今天的重磅嘉賓 wechat_sender ， wechat_sender是基於 wxpy 和 tornado  實現的一個可以將你的網站，爬蟲，指令碼等其他應用中各種訊息（日誌，報警，執行結果等）傳送到微信的工具包，有了他我們的訊息就可以順利的傳送到我們的餓微信賬戶了。

互動流程

如上圖所示，首先使用wxpy登陸微信機器人，當然這個機器人使用的是我們自己的微信賬號，這裡需要特別注意一點， 微信聊天機器人-儲存好友分享訊息 這篇文章中講述的機器人進入命令狀態是使用的embed()方法，在這裡我們不能使用該介面了，我們需要換成上述互動流程的很關鍵的一步，使用listen介面進行監聽，這樣我們的web工具才能傳送訊息給機器人，建議仔細閱讀一遍 wechat_sender 說明文件，內容不多

登陸微信機器人

爬取到天氣資訊以後，使用wechat_sender中的Sender類直接傳送訊息給微信機器人，下屬程式碼中嘗試是用來多種傳送訊息的方式，程式碼中都有詳細註釋，可自行閱讀

 1 def sendWeatherMsg(receivers, msg):
 2try:
 3#receivers = [u'拉卡拉', u'證明給他看', u'李靜']
 4
 5#receivers = u'李靜,情繞指尖'
 6
 7''' 
 8#傳送給指定好友 如果好友不存在 則傳送給資料夾傳輸助手
 9Sender(receivers = u'證明給他看').send(msg)
10Sender(receivers = u'拉卡拉').send(msg)
11Sender(receivers = u'李靜').send(msg)
12'''
13 
14''''''
15#傳送給指定接收的使用者
16#receivers = u'拉卡拉'
17#接受者必須是監聽物件的子集
18sender = Sender(receivers = receivers, token = 'weather_report_123456789')
19sender.send(msg)#如果沒有指定receivers則傳送給檔案傳輸助手
20
21 
22''' 
23receivers = u'李靜,情繞指尖'
24sender = Sender(receivers = receivers, token = 'weather_report_123456789')
25
26#有時候好使有時候不好使
27sender.send_to('@wss', u'拉卡拉') #訊息傳送失敗 會預設傳送給receivers的第一個使用者 Sender和Listen
28#sender.send_to(msg, u'證明給他看')
29'''
30 
31#測試控制命令
32'''
33receivers = u'拉卡拉'
34sender = Sender(receivers = receivers, token = 'weather_report_123456789')
35sender.send('@wss')#文如果沒有指定receivers則傳送給檔案傳輸助手件傳輸助手
36'''
37 
38except BaseException as e:
39print(e)

登陸微信機器人 微信聊天機器人-儲存好友分享訊息 已經講過，有不懂的同學可以回頭看下，下邊程式碼中第12行非常關鍵，這一行就是用來監聽外部程式傳送訊息的。

 1 bot = Bot(cache_path = True)
 2 
 3 receivers = []
 4 receivers.append(bot.file_helper)
 5 receivers.append(bot.friends().search('拉卡拉')[0])
 6 receivers.append(ensure_one(bot.friends().search('李靜', city='西安')))#有可能搜尋出多個結果
 7 receivers.append(bot.friends().search('證明給他看')[0])
 8 receivers.append(bot.friends().search('媽')[0])
 9 
10 print(receivers)
11 
12 listen(bot, receivers = receivers, token = 'weather_report_123456789') #關鍵一步

五、城市編碼

解決問題2，根據配置的城市名稱動態獲取城市編碼，然後請求資料

由於沒有介面可以直接獲取城市編碼，因此這裡我們自己封裝了一個類來進行管理城市名稱和城市編碼，拉取城市天氣時，只要輸入城市名稱，那麼城市編碼即可通過該類獲取到，具體程式碼如下

 1 import os
 2 
 3 class City(object):
 4def __init__(self):
 5self.city = {}
 6 
 7def load(self, file):
 8if os.path.exists(file):
 9with open(file, 'r', encoding = 'utf-8') as f:
10cityInfo = f.readline().strip('\n')
11while cityInfo:
12datas = cityInfo.split(':')
13self.city[datas[0]] = datas[1]
14cityInfo = f.readline().strip('\n')
15 
16def find_code(self, city_name):#根據城市名稱，查詢城市吧編碼
17if city_name in self.city:
18return self.city[city_name]
19return ''

六、定時任務

解決問題4：定時傳送任務

我們的需求是每日定時拉取天氣資訊，併發送給指定好友，python有一個APScheduler庫，支援定時任務，具體使用比較負責，我也沒有仔細研究，這裡我們只是需要使用一個定時任務，其他不做介紹，有興趣的同學可自行研究。

在研究定時任務的過程中，一直沒有找到 BackgroundScheduler類add_job時，回撥函式怎麼傳遞引數，因此這裡我封裝了一個類，讓定時任務和任務回撥處於一個域內，這樣引數就可以放在類的成員變數未知，不需要傳遞了，哪位大神如果會次操作，可以評論區指出，非常感謝

 1 class MyJob(object):
 2def __sendWeatherMsg(self):
 3for my_job in self.my_jobs:
 4code = city_code.find_code(my_job['city'])
 5wea = getWeath(code)
 6strWea = strDic(wea)
 7title = '{}天氣預報：\n'.format(my_job['city'])
 8sendWeatherMsg(my_job['receivers'], title + strWea)#傳送天氣資訊給檔案助手
 9 
10def addMyJobs(self, json_job):
11self.my_jobs = json_job['items']
12scheduler = BackgroundScheduler()
13scheduler.add_job(self.__sendWeatherMsg, trigger = 'cron', hour = json_job['hour']
14, minute = json_job['minute'], second = '5,10,15,20,25,30,35,40,45,50,55')
15scheduler.start()

後期出現不同型別任務時，我們就需要在封裝新的類。上述MyJob類有2個介面，一個是任務排程器回撥介面，不需要我們呼叫，另一個是載入任務介面，這個任務引數是一個標準的json串，由任務觸發時間和具體的任務列表組成，任務觸發時間主要是給排程器使用，任務列表就是排程器觸發時的回撥函式需要執行的任務數量。

 1 my_jobs = {
 2"id":"my_jobs",
 3"hour":"6, 17",
 4"minute":"30",
 5"items":[{
 6"receivers":"檔案傳輸助手,李靜,拉卡拉",
 7"city":"昌平"
 8},{
 9"receivers":"檔案傳輸助手,李靜,拉卡拉",
10"city":"海淀"
11}]
12 }

如上述任務json串來說，我們的任務id為my_jobs，在每天的6.30和17.30，我們需要執行items列表所指出的任務，任務列表是一個列表，列表中儲存的是具體任務，receivers代表任務執行完畢需要傳送的好友，city是爬取的天氣名稱，測試效果如下圖所示

由於任務排程器不是一個阻塞性的程式，如果我們不在主執行緒進行阻塞程式，那麼程式就會直接退出，如果阻塞了主執行緒，那麼任務排程程式也將會被阻塞，因此這裡在新增任務排程後，我們開啟了一個子執行緒，主要就是為了不讓主執行緒退出，這樣做其實不合理，但是我們這裡僅僅是為了掩飾，在下篇文章中這些問題我們在做進一步處理。

 1 city_code = city_code.City()
 2 city_code.load('city_code.txt') 
 3 
 4 if __name__ == "__main__":
 5try:
 6''' '''
 7my_job = MyJob()
 8my_job.addMyJobs(test_jobs)
 9 
10f = lambda x : lambda y : x+y
11t = Timer.Timer(f, 24 * 60 * 60)#建立執行緒 一天給自己發一條訊息
12t.setDaemon(True)
13t.start()
14t.join()#防止主主執行緒退出
15
16#SendWeatherMsg(my_msg)
17 
18except ResponseError as e:
19print(e.err_code, e.err_msg) # 檢視錯誤號和錯誤訊息

喜歡的同學可以自己嘗試完成下這個小程式，或者選擇一個類似的場景進行處理，本篇文章中其實好友幾個需要優化的地方，由於篇幅問題，我們在下篇中進行講解

1、定時任務做成windows服務，這樣更優雅，隨開機啟動

2、傳送訊息給微信好友換成傳送郵件給指定郵箱

七、資源下載

需要全部程式碼的到csdn直接下載： Python-定時爬取指定城市天氣(一)-傳送給關心的微信好友

轉載宣告：本站文章無特別說明，皆為原創，版權所有，轉載請註明：朝十晚八