multi-mechanize負載壓力
pip install multi-mechanize mechanize numpy matplotlib
mechanize是一個模擬browser行為的一個庫,當然你也可以用其它的如urllib2、request、tornado.httpclient等等庫,不是必須。
後面兩個numpy和matplotlib也是可選的,當你需要它自動生成圖形化報表時才會用到,安裝matplotlib你的系統有可能需要安裝libpng和freetype庫。
multimech-newproject my_project
# #Copyright (c) 2010 Corey Goldberg ([email protected]) #License: GNU LGPLv3 # #This file is part of Multi-Mechanize # import mechanize import time class Transaction(object): def __init__(self): self.custom_timers = {} def run(self): br = mechanize.Browser() br.set_handle_robots(False) start_timer = time.time() resp = br.open('http://www.example.com/') resp.read() latency = time.time() - start_timer self.custom_timers['Example_Homepage'] = latency assert (resp.code == 200), 'Bad HTTP Response' assert ('Example Web Page' in resp.get_data()), 'Failed Content Verification' if __name__ == '__main__': trans = Transaction() trans.run() print trans.custom_timers
注意:按multi-mechanize的預設規則,每個指令碼必須有一個Transaction的類,類要有一個run方法,在run裡面寫測試業務邏輯。這個例子是開啟http://www.example.com,記錄訪問所耗時長,非常簡單明瞭,而實際的場景你可能需要有使用者登入、然後測試某個或多個頁面(API),只是測試業務複雜一些,寫法是類似的。一個指令碼檔案只能有一個Transaction的類、類也只能有一個run方法,寫起case來是不是覺得非常不方便?不用急,針對這點,後面的小技巧部分會另闢蹊徑給你指條明路。
執行專案的測試指令碼
multimech-run my_project
使用小技巧
Cookie:
br._ua_handlers[“_cookies”].cookieja
單個指令碼多個測試用例的支援:這個思路來源於testsuite的概念,同一個testsuite裡的case作為一組相關的case可以共享一些程式碼邏輯和資源(如browser物件),而multi-mechanize預設的方式是不支援的,要實現這一點,只需要一點小小的技巧即可,上程式碼:
base.py,Transaction基類:
# -*- coding: utf-8 -*- import mechanize import time import traceback import logging class BaseTransaction(object): _TEST_CASE_PREFIX = "test_" def __init__(self): self._init() self.custom_timers = {} self.browser = mechanize.Browser() self.browser.set_handle_robots(False) self.browser.set_handle_redirect(True) self.browser.set_handle_referer(True) def _init(self): self.funcs = [] funcs_ = dir(self) for func_ in funcs_: if func_.startswith(self._TEST_CASE_PREFIX): self.funcs.append(func_) def run(self): """"所有繼承BaseTransaction的類,只需要在以test_開頭的方法裡實現測試case即可,執行時多個case都可以得到測試""" try: for func in self.funcs: start_timer = time.time() getattr(self, func)()# run test latency = time.time() - start_timer self.custom_timers['%s' % func[len(self._TEST_CASE_PREFIX):]] = latency except Exception, e: logging.error(traceback.format_exc()) raise e
# -*- coding: utf-8 -*- from base import BaseTransaction class Transaction(BaseTransaction): def test_google_com_hk(self): #測試邏輯程式碼,如類似於上面的測試example.com pass def test_google_com_sg(self): pass def test_google_com(self): pass
真實的併發量計算:multi-mechanize使用了multiprocessing庫,會同時起多個程序,且每個程序按config裡的配置起多個執行緒來實現併發測試,但真正的單位時間內的併發量並不是config裡設定threads=10這樣的表示每秒10個併發,真實的併發量需要根據最終完成的transaction數和這些transaction裡面包含多少次http請求和總的完成時間來計算得知,這點不是很直觀。
自定義統計資料:你可以往self.custom_timers這個內建的字典裡塞任意的自定義統計資料,他們在報表中都能夠得到體現。
更多的文件和一手資料請參考文件http://testutils.org/multi-mechanize/和git程式碼庫https://github.com/cgoldberg/multi-mechanize 。最後multi-mechanize還不是很好用,一是使用過程中發現有一些情況會拋異常,導致不能正確生成報表,另一個別扭的是case的編寫不是unittest那一套,是作者自創Transaction流:)