“這個(gè)數(shù)據(jù)集包含了氣象、環(huán)境和火災(zāi)信息，其中X、Y表示地理位置，month和day是日期信息，F(xiàn)FMC、DMC、DC、ISI是火災(zāi)相關(guān)的氣象指數(shù)，temp表示溫度，RH是濕度，wind是風(fēng)速，rain是降雨量，area是火災(zāi)燒毀的面積，在建模時(shí)，我們未使用日期信息（month 和 day）
import xgboost as xgb
from sklearn.model_selection import GridSearchCV
# XGBoost回歸模型參數(shù)
params_xgb = {
'learning_rate': 0.02, # 學(xué)習(xí)率，控制每一步的步長，用于防止過擬合。典型值范圍：0.01 - 0.1
'booster': 'gbtree', # 提升方法，這里使用梯度提升樹（Gradient Boosting Tree）
'objective': 'reg:squarederror', # 損失函數(shù)，這里使用平方誤差，適用于回歸任務(wù)
'max_leaves': 127, # 每棵樹的葉子節(jié)點(diǎn)數(shù)量，控制模型復(fù)雜度
'verbosity': 1, # 控制 XGBoost 輸出信息的詳細(xì)程度，0表示無輸出，1表示輸出進(jìn)度信息
'seed': 42, # 隨機(jī)種子，用于重現(xiàn)模型的結(jié)果
'nthread': -1, # 并行運(yùn)算的線程數(shù)量，-1表示使用所有可用的CPU核心
'colsample_bytree': 0.6, # 每棵樹隨機(jī)選擇的特征比例，用于增加模型的泛化能力
'subsample': 0.7, # 每次迭代時(shí)隨機(jī)選擇的樣本比例，用于增加模型的泛化能力
'eval_metric': 'rmse' # 評價(jià)指標(biāo)，這里使用均方根誤差（rmse）
}
# 初始化XGBoost回歸模型
model_xgb = xgb.XGBRegressor(**params_xgb)
# 定義參數(shù)網(wǎng)格，用于網(wǎng)格搜索
param_grid = {
'n_estimators': [100, 200, 300, 400, 500], # 樹的數(shù)量
'max_depth': [3, 4, 5, 6, 7], # 樹的深度
'learning_rate': [0.01, 0.02, 0.05, 0.1], # 學(xué)習(xí)率
}
# 使用GridSearchCV進(jìn)行網(wǎng)格搜索和k折交叉驗(yàn)證
grid_search = GridSearchCV(
estimator=model_xgb,
param_grid=param_grid,
scoring='neg_mean_squared_error', # 評價(jià)指標(biāo)為負(fù)均方誤差
cv=5, # 5折交叉驗(yàn)證
n_jobs=-1, # 并行計(jì)算
verbose=1 # 輸出詳細(xì)進(jìn)度信息
)
# 訓(xùn)練模型
grid_search.fit(X_train, y_train)
# 輸出最優(yōu)參數(shù)
print("Best parameters found: ", grid_search.best_params_)
print("Best RMSE score: ", (-grid_search.best_score_) ** 0.5) # 還原RMSE
# 使用最優(yōu)參數(shù)訓(xùn)練模型
best_model_xgboost = grid_search.best_estimator_使用網(wǎng)格搜索（GridSearchCV）和5折交叉驗(yàn)證來優(yōu)化XGBoost模型的超參數(shù)（如樹的數(shù)量、深度、學(xué)習(xí)率等），然后輸出最優(yōu)參數(shù)和通過負(fù)均方誤差評估得到的最小均方根誤差（RMSE），最后使用最優(yōu)參數(shù)訓(xùn)練模型
# 獲取XGBoost模型的特征貢獻(xiàn)度（重要性）
feature_importances = best_model_xgboost.feature_importances_
# 將特征和其重要性一起排序
sorted_indices = np.argsort(feature_importances)[::-1] # 逆序排列，重要性從高到低
sorted_features = X_train.columns[sorted_indices]
sorted_importances = feature_importances[sorted_indices]
# 打印排序后的特征及其重要性
for feature_name, importance in zip(sorted_features, sorted_importances):
print(f"Feature: {feature_name}, Importance: {importance:.4f}")
從訓(xùn)練好的XGBoost模型中提取特征的重要性，并將這些特征按重要性從高到低進(jìn)行排序。首先，通過best_model_xgboost.feature_importances_ 獲取各特征的貢獻(xiàn)度，然后利用np.argsort() 對貢獻(xiàn)度進(jìn)行排序，接著將特征名稱和對應(yīng)的重要性值按順序存儲(chǔ)，最后，代碼通過for循環(huán)打印出每個(gè)特征及其貢獻(xiàn)度，幫助我們識(shí)別出模型中對預(yù)測結(jié)果影響最大的特征
# 繪制按重要性排序的特征貢獻(xiàn)性柱狀圖
plt.figure(figsize=(10, 6), dpi=1200)
plt.barh(sorted_features, sorted_importances, color='steelblue')
plt.xlabel('Importance', fontsize=14)
plt.ylabel('Features', fontsize=14)
plt.title('Sorted Feature Importance', fontsize=16)
plt.gca().invert_yaxis()
plt.savefig("Sorted Feature Importance.pdf", format='pdf',bbox_inches='tight')
# 顯示圖表
plt.show()
通過 plt.barh() 繪制了按重要性排序的特征貢獻(xiàn)柱狀圖，并將其保存為 PDF 文件，該圖展示了各個(gè)特征對 XGBoost 模型在預(yù)測火災(zāi)面積時(shí)的相對重要性
從圖中可以看出，RH（相對濕度）、temp（溫度） 和 DMC（濕潤度代碼） 是對火災(zāi)面積預(yù)測貢獻(xiàn)最大的特征，表明這些環(huán)境因素對火災(zāi)的影響最為顯著。而 rain（降雨量） 對模型的貢獻(xiàn)最小，這意味著在這個(gè)數(shù)據(jù)集中，降雨量對火災(zāi)面積的預(yù)測起到的作用相對較小
在之前的文章中，我們探討了如何通過隨機(jī)森林模型的特征貢獻(xiàn)度來衡量各個(gè)特征在預(yù)測中的重要性，然而，特征貢獻(xiàn)度不僅適用于隨機(jī)森林，像?XGBoost、CatBoost和??LightGBM等強(qiáng)大的樹模型同樣可以為我們揭示特征對模型的貢獻(xiàn)度，因此，我將推出一個(gè)系列文章，逐步講解如何從這些不同的樹模型中提取特征貢獻(xiàn)度，讓你學(xué)會(huì)在不同算法中挖掘最重要的特征
細(xì)心的讀者可能已經(jīng)注意到，XGBoost 的特征貢獻(xiàn)度與隨機(jī)森林有顯著的區(qū)別，正是這些差異，讓我們對特征有了不同的見解和理解，最終，我們的目標(biāo)是通過多模型特征貢獻(xiàn)度的可視化，幫助你直觀地比較各個(gè)模型對同一特征的不同看法，最終可以將多種模型的特征貢獻(xiàn)度整合在一張圖中，輕松地對比每個(gè)模型對特征的不同判斷，從而更好地理解模型的行為和特征的重要性
文章轉(zhuǎn)自微信公眾號@Python機(jī)器學(xué)習(xí)AI