特徵工程全過程
1 特徵工程是什麼?
有這麼一句話在業界廣泛流傳:資料和特徵決定了機器學習的上限,而模型和演算法只是逼近這個上限而已。那特徵工程到底是什麼呢?顧名思義,其本質是一項工程活動,目的是最大限度地從原始資料中提取特徵以供演算法和模型使用。通過總結和歸納,人們認為特徵工程包括以下方面:
特徵處理是特徵工程的核心部分,sklearn提供了較為完整的特徵處理方法,包括資料預處理,特徵選擇,降維等。首次接觸到sklearn,通常會被其豐富且方便的演算法模型庫吸引,但是這裡介紹的特徵處理庫也十分強大!
本文中使用sklearn中的IRIS(鳶尾花)資料集
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_iris.html#sklearn.datasets.load_iris
來對特徵處理功能進行說明。IRIS資料集由Fisher在1936年整理,包含4個特徵(Sepal.Length(花萼長度)、Sepal.Width(花萼寬度)、Petal.Length(花瓣長度)、Petal.Width(花瓣寬度)),特徵值都為正浮點數,單位為釐米。目標值為鳶尾花的分類(Iris Setosa(山鳶尾)、Iris Versicolour(雜色鳶尾),Iris Virginica(維吉尼亞鳶尾))。匯入IRIS資料集的程式碼如下:
1 from sklearn.datasets import load_iris
3 # 匯入IRIS資料集
4 iris = load_iris()
6 # 特徵矩陣
7 iris.data
9 # 目標向量
10 iris.target
2 資料預處理
通過特徵提取,我們能得到未經處理的特徵,這時的特徵可能有以下問題:
● 不屬於同一量綱:即特徵的規格不一樣,不能夠放在一起比較。無量綱化可以解決這一問題。
● 資訊冗餘:對於某些定量特徵,其包含的有效資訊為區間劃分,例如學習成績,假若只關心“及格”或不“及格”,那麼需要將定量的考分,轉換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。
● 定性特徵不能直接使用:某些機器學習演算法和模型只能接受定量特徵的輸入,那麼需要將定性特徵轉換為定量特徵。最簡單的方式是為每一種定性值指定一個定量值,但是這種方式過於靈活,增加了調參的工作。通常使用啞編碼的方式將定性特徵轉換為定量特徵:http://www.ats.ucla.edu/stat/mult_pkg/faq/general/dummy.htm
● 假設有N種定性值,則將這一個特徵擴充套件為N種特徵,當原始特徵值為第i種定性值時,第i個擴充套件特徵賦值為1,其他擴充套件特徵賦值為0。啞編碼的方式相比直接指定的方式,不用增加調參的工作,對於線性模型來說,使用啞編碼後的特徵可達到非線性的效果。
● 存在缺失值:缺失值需要補充。
● 資訊利用率低:不同的機器學習演算法和模型對資料中資訊的利用是不同的,之前提到線上性模型中,使用對定性特徵啞編碼可以達到非線性的效果。類似地,對定量變數多項式化,或者進行其他的轉換,都能達到非線性的效果。
我們使用sklearn中的preproccessing庫來進行資料預處理,可以覆蓋以上問題的解決方案。
2.1 無量綱化
無量綱化使不同規格的資料轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分佈,標準化後,其轉換成標準正態分佈。區間縮放法利用了邊界值資訊,將特徵的取值區間縮放到某個特點的範圍,例如[0, 1]等。
2.1.1 標準化
標準化需要計算特徵的均值和標準差,公式表達為:
使用preproccessing庫的StandardScaler類對資料進行標準化的程式碼如下:
1 from sklearn.preprocessing import StandardScaler
2
3 # 標準化,返回值為標準化後的資料
4 StandardScaler().fit_transform(iris.data)
2.1.2 區間縮放法
區間縮放法的思路有多種,常見的一種為利用兩個最值進行縮放,公式表達為:
使用preproccessing庫的MinMaxScaler類對資料進行區間縮放的程式碼如下:
3 特徵選擇
當資料預處理完成後,我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說,從兩個方面考慮來選擇特徵:
● 特徵是否發散:如果一個特徵不發散,例如方差接近於0,也就是說樣本在這個特徵上基本上沒有差異,這個特徵對於樣本的區分並沒有什麼用。
● 特徵與目標的相關性:這點比較顯見,與目標相關性高的特徵,應當優選選擇。除方差法外,本文介紹的其他方法均從相關性考慮。
根據特徵選擇的形式又可以將特徵選擇方法分為3種:
● Filter:過濾法,按照發散性或者相關性對各個特徵進行評分,設定閾值或者待選擇閾值的個數,選擇特徵。
● Wrapper:包裝法,根據目標函式(通常是預測效果評分),每次選擇若干特徵,或者排除若干特徵。
● Embedded:嵌入法,先使用某些機器學習的演算法和模型進行訓練,得到各個特徵的權值係數,根據係數從大到小選擇特徵。類似於Filter方法,但是是通過訓練來確定特徵的優劣。
我們使用sklearn中的feature_selection庫來進行特徵選擇。
3.1 Filter
3.1.1 方差選擇法
使用方差選擇法,先要計算各個特徵的方差,然後根據閾值,選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的程式碼如下:
4 降維
當特徵選擇完成後,可以直接訓練模型了,但是可能由於特徵矩陣過大,導致計算量大,訓練時間長的問題,因此降低特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型以外,另外還有主成分分析法(PCA)和線性判別分析(LDA),線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點,其本質是要將原始的樣本對映到維度更低的樣本空間中,但是PCA和LDA的對映目標不一樣:PCA是為了讓對映後的樣本具有最大的發散性;而LDA是為了讓對映後的樣本有最好的分類效能。
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
所以說PCA是一種無監督的降維方法,而LDA是一種有監督的降維方法。
4.1 主成分分析法(PCA)
使用decomposition庫的PCA類選擇特徵的程式碼如下:
1 from sklearn.decomposition import PCA
2
3 # 主成分分析法,返回降維後的資料
4 # 引數n_components為主成分數目
5 PCA(n_components=2).fit_transform(iris.data)
4.2 線性判別分析法(LDA)
使用lda庫的LDA類選擇特徵的程式碼如下:
1 from sklearn.lda import LDA
2
3 # 線性判別分析法,返回降維後的資料
4 # 引數n_components為降維後的維數
5 LDA(n_components=2).fit_transform(iris.data, iris.target)
4.3 回顧
庫 | 類 | 說明 |
decomposition | PCA | 主成分分析法 |
lda | LDA | 線性判別分析法 |
5 總結
再讓我們迴歸一下本文開始的特徵工程的思維導圖,我們可以使用sklearn完成幾乎所有特徵處理的工作,而且不管是資料預處理,還是特徵選擇,抑或降維,它們都是通過某個類的方法fit_transform完成的,fit_transform要不只帶一個引數:特徵矩陣,要不帶兩個引數:特徵矩陣加目標向量。這些難道都是巧合嗎?還是故意設計成這樣?方法fit_transform中有fit這一單詞,它和訓練模型的fit方法有關聯嗎?
原文釋出時間為:2018-09-10
本文來自雲棲社群合作伙伴“ OA==&mid=2650341294&idx=1&sn=a7937f3b8f3d44bfb4980ffb071d971f&chksm=8780e95db0f7604b341ec5e4344add99a551535247e7121699783e7fd3388158742146684e21&scene=0#rd" target="_blank" rel="nofollow,noindex">大資料探勘DT機器學習 ”,瞭解相關資訊可以關注“ 大資料探勘DT機器學習 ”。