【Python特征工程系列】利用SHAP进行特征重要性分析-决策树模型为例（案例+源码）

import numpy as np
import shap
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
 
# 加载波士顿房价数据集
data = load_boston()
X, y = data.data, data.target
 
# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1337)
 
# 初始化决策树模型
model = DecisionTreeRegressor(random_state=1337)
 
# 训练模型
model.fit(X_train, y_train)
 
# 使用SHAP值进行特征重要性评估
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
 
# 计算特征的平均SHAP值来评估重要性
mean_shap_values = np.abs(shap_values).mean(0)
 
# 根据平均SHAP值进行特征排序
sorted_indices = np.argsort(mean_shap_values)[::-1]
 
# 打印排名前5的特征的SHAP值和特征名称
for i in range(5):
    shap_value = mean_shap_values[sorted_indices[i]]
    feature_name = data.feature_names[sorted_indices[i]]
    print(f"特征{feature_name}: SHAP值 = {shap_value:.2f}")

这段代码使用SHAP库来评估波士顿房价数据集中特征的重要性。首先加载数据集，划分为训练集和测试集，然后初始化一个决策树模型并训练。接着使用shap.TreeExplainer来计算SHAP值，并通过计算平均SHAP值来评估特征的重要性，最后打印出排名前5的特征的名称和SHAP值。