变量选择是模型构建的一个重要方面，每个建模人员都必须学习。通过变量选择，可以排除相关变量以及数据噪音等，有助于提高模型的泛化性。

许多新手认为，保留所有（或更多）的变量就能产生最佳的模型，因为没有丢失任何信息。可悲的是，他们错了！从模型中删除一个变量，变量个数减少了却增加了模型的精度，这种事情你遇到过多少次？至少，我已经碰到过很多次。这样的变量往往被发现是相关的，而且会妨碍实现更高的模型精度。

Boruta原本是一个R包，但是github上面有对应的python版本，点击链接1，链接2

Boruta算法

Boruta是一种特征选择算法。精确地说，它是随机森林周围的一种包装算法。这个包的名字来源是斯拉夫神话中一个居住在松林的恶魔。我们知道，特征选择是预测模型中很关键的一步。当构建一个数据集包含多个变量的模型时，这个步骤尤为重要。

当你有兴趣了解变量相关性的价值，而不是只局限于建立一个具有良好的预测精度黑盒的预测模型时候，用Boruta算法来处理这些数据集无疑是最佳选择。

Boruta函数通过循环的方式评价各变量的重要性，在每一轮迭代中，对原始变量和影子变量进行重要性比较。如果原始变量的重要性显著高于影子变量的重要性，则认为该原始变量是重要的；如果原始变量的重要性明显低于影子变量的重要性，则认为该原始变量是不重要的。

    1. 原始变量：就是我们输入的要进行特征选择的变量。
    1. 影子变量：就是根据原始变量生成的变量，生成规则是:
    • 2.1 先向原始变量中加入随机干扰项，这样得到的是扩展后的变量
    • 2.2 从扩展后的变量中进行抽样，得到影子变量

使用python来实现影子特征，类似于：

1
2
3
4
5
6
# Get feature from training dataset
z = train_df[f].values
# Shuffle data
np.random.shuffle(z)
# Put shuffled data back into dataset
train_df[f + "shadow"] = z

下面是Boruta算法运行的步骤：

    1. 首先，它通过创建混合数据的所有特征（即影子特征）为给定的数据集增加了随机性。
    1. 然后，它训练一个随机森林分类的扩展数据集，并采用一个特征重要性措施（默认设定为平均减少精度），以评估的每个特征的重要性，越高则意味着越重要。
    1. 在每次迭代中，它检查一个真实特征是否比最好的影子特征具有更高的重要性（即该特征是否比最大的影子特征得分更高）并且不断删除它视为非常不重要的特征。
    1. 最后，当所有特征得到确认或拒绝，或算法达到随机森林运行的一个规定的限制时，算法停止。

有何不同？

Boruta遵循所有相关的特征选择方法，它可以捕获结果变量有关的所有的特征。相比之下，大多数传统的特征选择算法都遵循一个最小的优化方法，它们依赖于特征的一个小的子集，会在选择分类上产生最小错误。

在对数据集进行随机森林模型的拟合时，你可以递归地处理每个迭代过程中表现不佳的特征。该方法最大限度地减少了随机森林模型的误差，这将最终形成一个最小化最优特征子集。这通过选择一个输入数据集的过度精简版本发生，反过来，会丢失一些相关的特征。

另一方面，Boruta找到所有的特征，无论其与决策变量的相关性强弱与否。这使得它非常适合被应用于生物医学领域，一部分人会感兴趣了解哪些人类的基因（特征）与某种程度上的特定的医疗条件（目标变量）相关。

案例实现

以kaggle的Porto Seguro’s Safe Driver Prediction比赛数据为例进行操作。

如果你没有安装Boruta模块的话，直接运行下面命令进行安装模块包

1
pip install Boruta

接下来主要加载所需要的模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from __future__ import print_function
import pandas as pd
import numpy as np
from datetime import datetime
from sklearn.ensemble import RandomForestClassifier # 随机森林算法
from boruta import BorutaPy #Boruta模块
pd.set_option('display.max_rows', 1000)
pd.set_option('display.max_columns', 1000)
# 时间计算
def timer(start_time=None):
    if not start_time:
        start_time = datetime.now()
        return start_time
    elif start_time:
        thour, temp_sec = divmod((datetime.now() - start_time).total_seconds(), 3600)
        tmin, tsec = divmod(temp_sec, 60)
        print('\n Time taken: %i hours %i minutes and %s seconds.' % (thour, tmin, round(tsec, 2)))

加载数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
train = pd.read_csv('train.csv', dtype={'target': np.int8, 'id': np.int32})
X = train.drop(['id','target'], axis=1).values
y = train['target'].values
tr_ids = train['id'].values
n_train = len(X)
test = pd.read_csv('test.csv', dtype={'id': np.int32})
X_test = test.drop(['id'], axis=1).values
te_ids = test['id'].values

# 使用随机森林模型
rfc = RandomForestClassifier(n_estimators=200, n_jobs=4, class_weight='balanced', max_depth=6)
boruta_selector = BorutaPy(rfc, n_estimators='auto', verbose=2)
start_time = timer(None)
boruta_selector.fit(X, y)
timer(start_time)

接下来对结果进行分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 原始特征
print ('\n Initial features: ', train.drop(['id','target'], axis=1).columns.tolist() )

# boruta选择的特征个数
print ('\n Number of selected features:')
print (boruta_selector.n_features_)

# top特征（也就是被选择的特征）
feature_df = pd.DataFrame(train.drop(['id','target'], axis=1).columns.tolist(), columns=['features'])
feature_df['rank']=boruta_selector.ranking_
feature_df = feature_df.sort_values('rank', ascending=True).reset_index(drop=True)
print ('\n Top %d features:' % boruta_selector.n_features_)
print (feature_df.head(boruta_selector.n_features_))
feature_df.to_csv('boruta-feature-ranking.csv', index=False)

# 原始特征的排序
print ('\n Feature ranking:')
print (boruta_selector.ranking_)

# 选择的特征
# print ('\n Selected features:')
# print (boruta_selector.support_)

#
# print ('\n Support for weak features:')
#print (boruta_selector.support_weak_)

selected = train.drop(['id','target'], axis=1).columns[boruta_selector.support_]
train = train[selected]
train['id'] = tr_ids
train['target'] = y
train = train.set_index('id')
train.to_csv('train_boruta_filtered.csv', index_label='id')
test = test[selected]
test['id'] = te_ids
test = test.set_index('id')
test.to_csv('test_boruta_filtered.csv', index_label='id')

另外Boruta支持其他模型，比如xgboost或lightgbm，下面以lightGBM为例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
trn_df = pd.read_csv("train.csv", index_col=0)
target = trn_df.target
del trn_df["target"]
clf = LGBMClassifier(boosting_type="rf",
                 num_leaves=1024,
                 max_depth=6,
                 n_estimators=500,  # 1000
                 subsample=.623,  # .623
                 colsample_bytree=.5)  # .5
# define Boruta feature selection method
feat_selector = BorutaPy(clf, n_estimators=500, verbose=2, random_state=None)
# find all relevant features
feat_selector.fit(trn_df.values, target.values)
# check selected features
print(feat_selector.support_)
print(trn_df.columns[feat_selector.support_])