【Python】グリッドサーチによるXGBoostモデルの最適化｜機械学習モデルのハイパーパラメータチューニング実践

# ============================================================
# データセットの準備
# ============================================================

import numpy as np
import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split

# データロード
iris = datasets.load_iris()

# 説明変数
X = iris.data
X = pd.DataFrame(X, columns=["Sepal Length", "Sepal Width", "Petal Length", "Petal Width"])

# 目的変数
Y = iris.target
Y = iris_target = pd.DataFrame(Y, columns = ["Species"])

# 学習データとテストデータ分割
X_train,X_test,Y_train,Y_test = train_test_split(X,Y, test_size=0.3, shuffle=True, random_state=3)

# ============================================================
# モデル学習　＆　ハイパーパラメータチューニング
# ============================================================

from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV

# XGBoostの可変パラメータ（探索したいパラメータ候補を自由に設定）
parameters = {  
    'learning_rate': [0.2,0.6,1],   # 過学習防止を目的とした学習率
    'max_depth': [3,6,9],           # 決定木の深さの最大値
    'reg_lambda':[0.5,1],           # L2正則化のペナルティ項
}

# XGBoost分類モデルのインスタンス
model = XGBClassifier()

# グリッドサーチ
grid_search = GridSearchCV(estimator = model,        # モデルインスタンス
                          param_grid = parameters,  # チューニングするパラメータ
                          scoring = "accuracy",     # スコアリング方法
                         )  

# 演算実行
grid_search.fit(X_train, Y_train) 

# グリッドサーチの結果から得られたbestパラメータ出力
print('Best params are: {}'.format(grid_search.best_params_))  

# 出力イメージ
# Best params are: {'learning_rate': 0.6, 'max_depth': 3, 'reg_lambda': 0.5}

# ============================================================
# モデル再学習
# ============================================================

# XGBoost分類モデルのインスタンス
model = XGBClassifier(learning_rate = grid_search.best_params_['learning_rate'], # 過学習防止を目的とした学習率
                      max_depth     = grid_search.best_params_['max_depth'],     # 決定木の深さの最大値
                      reg_lambda    = grid_search.best_params_['reg_lambda'],    # L2正則化のペナルティ項
                     )

# モデル学習
model.fit(X_train,Y_train)

# ============================================================
# 性能評価
# ============================================================

from sklearn.metrics import accuracy_score
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score

# 推論
Y_pred = model.predict(X_test)

# 性能評価
print("正解率: " + str(round(accuracy_score(Y_test,Y_pred),3)))
print("適合率: " + str(round(precision_score(Y_test,Y_pred, average="macro"),3)))
print("再現率: " + str(round(recall_score(Y_test,Y_pred, average="macro"),3)))

# 出力結果
# 正解率: 0.978
# 適合率: 0.978
# 再現率: 0.976