一行程式碼讓Python的執行速度提高100倍
python一直被病垢執行速度太慢,但是實際上python的執行效率並不慢,慢的是python用的直譯器Cpython執行效率太差。
“一行程式碼讓python的執行速度提高100倍”這絕不是譁眾取寵的論調。
我們來看一下這個最簡單的例子,從1一直累加到1億。
最原始的程式碼:
import time def foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i print('Time used: {} sec'.format(time.time()-tt)) return s print(foo(1,100000000))
結果:
Time used: 6.779874801635742 sec 4999999950000000
我們來加一行程式碼,再看看結果:
from numba import jit import time @jit def foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i print('Time used: {} sec'.format(time.time()-tt)) return s print(foo(1,100000000))
結果:
Time used: 0.04680037498474121 sec 4999999950000000
是不是快了100多倍呢?
那麼下面就分享一下“為啥numba庫的jit模組那麼牛掰?”
NumPy的創始人Travis Oliphant在離開Enthought之後,建立了CONTINUUM,致力於將Python大資料處理方面的應用。最近推出的Numba專案能夠將處理NumPy陣列的Python函式JIT編譯為機器碼執行,從而上百倍的提高程式的運算速度。
Numba專案的主頁上有Linux下的詳細安裝步驟。編譯LLVM需要花一些時間。
Windows使用者可以從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個擴充套件庫。
Python學習群:556370268,有大牛答疑,有資源共享!有想學習python程式設計的,或是轉行,或是大學生,還有工作中想提升自己能力的,正在學習的小夥伴歡迎加入學習。
下面我們看一個例子:
import numba as nb from numba import jit @jit('f8(f8[:])') def sum1d(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return s import numpy as np array = np.random.random(10000) %timeit sum1d(array) %timeit np.sum(array) %timeit sum(array) 10000 loops, best of 3: 38.9 us per loop 10000 loops, best of 3: 32.3 us per loop 100 loops, best of 3: 12.4 ms per loop
numba中提供了一些修飾器,它們可以將其修飾的函式JIT編譯成機器碼函式,並返回一個可在Python中呼叫機器碼的包裝物件。為了能將Python函式編譯成能高速執行的機器碼,我們需要告訴JIT編譯器函式的各個引數和返回值的型別。我們可以通過多種方式指定型別資訊,在上面的例子中,型別資訊由一個字串’f8(f8[:])’指定。其中’f8’表示8個位元組雙精度浮點數,括號前面的’f8’表示返回值型別,括號裡的表示引數型別,’[:]’表示一維陣列。因此整個型別字串表示sum1d()是一個引數為雙精度浮點數的一維陣列,返回值是一個雙精度浮點數。
需要注意的是,JIT所產生的函式只能對指定的型別的引數進行運算:
print sum1d(np.ones(10, dtype=np.int32)) print sum1d(np.ones(10, dtype=np.float32)) print sum1d(np.ones(10, dtype=np.float64)) 1.2095376009e-312 1.46201599944e+185 10.0
如果希望JIT能針對所有型別的引數進行運算,可以使用autojit:
from numba import autojit @autojit def sum1d2(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return s %timeit sum1d2(array) print sum1d2(np.ones(10, dtype=np.int32)) print sum1d2(np.ones(10, dtype=np.float32)) print sum1d2(np.ones(10, dtype=np.float64)) 10000 loops, best of 3: 143 us per loop 10.0 10.0 10.0
autoit雖然可以根據引數型別動態地產生機器碼函式,但是由於它需要每次檢查引數型別,因此計算速度也有所降低。numba的用法很簡單,基本上就是用jit和autojit這兩個修飾器,和一些型別物件。下面的程式列出numba所支援的所有型別:
print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)] [size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double, unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *, double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16, int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double, char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32, unsigned int, short, int64, Py_ssize_t]
工作原理
numba的通過meta模組解析Python函式的ast語法樹,對各個變數新增相應的型別資訊。然後呼叫llvmpy生成機器碼,最後再生成機器碼的Python呼叫介面。
meta模組
通過研究numba的工作原理,我們可以找到許多有用的工具。例如meta模組可在程式原始碼、ast語法樹以及Python二進位制碼之間進行相互轉換。下面看一個例子:
def add2(a, b): return a + b
decompile_func能將函式的程式碼物件反編譯成ast語法樹,而str_ast能直觀地顯示ast語法樹,使用這兩個工具學習Python的ast語法樹是很有幫助的。
from meta.decompiler import decompile_func from meta.asttools import str_ast print str_ast(decompile_func(add2)) FunctionDef(args=arguments(args=[Name(ctx=Param(), id='a'), Name(ctx=Param(), id='b')], defaults=[], kwarg=None, vararg=None), body=[Return(value=BinOp(left=Name(ctx=Load(), id='a'), op=Add(), right=Name(ctx=Load(), id='b')))], decorator_list=[], name='add2')
而python_source可以將ast語法樹轉換為Python原始碼:
from meta.asttools import python_source python_source(decompile_func(add2)) def add2(a, b): return (a + b)
decompile_pyc將上述二者結合起來,它能將Python編譯之後的pyc或者pyo檔案反編譯成原始碼。下面我們先寫一個tmp.py檔案,然後通過py_compile將其編譯成tmp.pyc。
with open("tmp.py", "w") as f: f.write(""" def square_sum(n): s = 0 for i in range(n): s += i**2 return s """) import py_compile py_compile.compile("tmp.py")
下面呼叫decompile_pyc將tmp.pyc顯示為原始碼:
with open("tmp.pyc", "rb") as f: decompile_pyc(f) def square_sum(n): s = 0 for i in range(n): s += (i ** 2) return s
llvmpy模組
LLVM是一個動態編譯器,llvmpy則可以通過Python呼叫LLVM動態地建立機器碼。直接通過llvmpy建立機器碼是比較繁瑣的,例如下面的程式建立一個計算兩個整數之和的函式,並呼叫它計算結果。
Python學習群:556370268,有大牛答疑,有資源共享!有想學習python程式設計的,或是轉行,或是大學生,還有工作中想提升自己能力的,正在學習的小夥伴歡迎加入學習。
from llvm.core import Module, Type, Builder from llvm.ee import ExecutionEngine, GenericValue # Create a new module with a function implementing this: # # int add(int a, int b) { #return a + b; # } # my_module = Module.new('my_module') ty_int = Type.int() ty_func = Type.function(ty_int, [ty_int, ty_int]) f_add = my_module.add_function(ty_func, "add") f_add.args[0].name = "a" f_add.args[1].name = "b" bb = f_add.append_basic_block("entry") # IRBuilder for our basic block builder = Builder.new(bb) tmp = builder.add(f_add.args[0], f_add.args[1], "tmp") builder.ret(tmp) # Create an execution engine object. This will create a JIT compiler # on platforms that support it, or an interpreter otherwise ee = ExecutionEngine.new(my_module) # Each argument needs to be passed as a GenericValue object, which is a kind # of variant arg1 = GenericValue.int(ty_int, 100) arg2 = GenericValue.int(ty_int, 42) # Now let's compile and run! retval = ee.run_function(f_add, [arg1, arg2]) # The return value is also GenericValue. Let's print it. print "returned", retval.as_int() returned 142
f_add就是一個動態生成的機器碼函式,我們可以把它想象成C語言編譯之後的函式。在上面的程式中,我們通過ee.run_function呼叫此函式,而實際上我們還可以獲得它的地址,然後通過Python的ctypes模組呼叫它。
首先通過ee.get_pointer_to_function獲得f_add函式的地址:
addr = ee.get_pointer_to_function(f_add) addr 2975997968L
然後通過ctypes.PYFUNCTYPE建立一個函式型別:
import ctypes f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)
最後通過f_type將函式的地址轉換為可呼叫的Python函式,並呼叫它:
f = f_type(addr) f(100, 42) 142
numba所完成的工作就是:
解析Python函式的ast語法樹並加以改造,新增型別資訊;
將帶型別資訊的ast語法樹通過llvmpy動態地轉換為機器碼函式,然後再通過和ctypes類似的技術為機器碼函式建立包裝函式供Python呼叫。