【機械学習】XGBoostとは？｜Pythonで分類モデルを実装する方法解説

pip install xgboost

# ============================================================
# データセットの準備(Sckit-learnで提供されているアヤメのデータを利用)
# ============================================================
import numpy as np
import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split

# データロード
iris = datasets.load_iris()

# 説明変数
X = iris.data
X = pd.DataFrame(X, columns=["Sepal Length", "Sepal Width", "Petal Length", "Petal Width"])

# 目的変数
Y = iris.target
Y = iris_target = pd.DataFrame(Y, columns = ["Species"])

# 学習データとテストデータ分割
X_train,X_test,Y_train,Y_test = train_test_split(X,Y, test_size=0.3, shuffle=True, random_state=3)

# ============================================================
# モデル学習
# ============================================================

import xgboost
from xgboost import XGBClassifier

# XGBoost分類モデルのインスタンス
model_XGB = XGBClassifier(booster="gbtree",             # ブースター種類（ツリーモデル：gbtree or dart, 線形モデル：gblinear)
                          learning_rate=1,              # 過学習防止を目的とした学習率
                          min_split_loss=0,             # 決定木の葉ノード追加に伴う損失減少の下限値
                          max_depth=6,                  # 決定木の深さの最大値
                          min_child_weight=1,           # 決定木の葉に必要な重みの下限
                          subsample=1,                  # 各決定木においてランダム抽出されるサンプル割合
                          sampling_method="uniform",    # サンプリング方法
                          colsample_bytree=1,           # 各決定木でランダムに設定される説明変数の割合
                          colsample_bylevel=1,          # 決定木が深さ単位で分割される際に利用する説明変数の割合
                          reg_lambda=1,                 # L2正則化のペナルティ項
                          reg_alpha=0,                  # L1正則化のペナルティ項
                          tree_method="auto",           # ツリー構造アルゴリズム
                          process_type="default",       # 実行するブースティングプロセス
                          grow_policy="depthwise",      # 新しい葉ノードを木に追加する際の制御ポリシー
                          max_leaves=0,                 # 追加する葉ノードの最大数
                          objective="reg:squarederror", # 学習プロセスで最小化を目指す損失関数
                          num_round=9,                  # ブースティング回数(=作成する決定木の本数)
                         )


# モデル学習
model_XGB.fit(X_train, Y_train)

# XGBClassifier(base_score=0.5, booster='gbtree', callbacks=None,
#               colsample_bylevel=1, colsample_bynode=1, colsample_bytree=1,
#               early_stopping_rounds=None, enable_categorical=False,
#               eval_metric=None, gamma=0, gpu_id=-1, grow_policy='depthwise',
#               importance_type=None, interaction_constraints='', learning_rate=1,
#               max_bin=256, max_cat_to_onehot=4, max_delta_step=0, max_depth=6,
#               max_leaves=0, min_child_weight=1, min_split_loss=0, missing=nan,
#               monotone_constraints='()', n_estimators=100, n_jobs=0,
#               num_parallel_tree=1, objective='multi:softprob', predictor='auto',
#               process_type='default', ...)

# ============================================================
# 可視化
# ============================================================

from dtreeviz.trees import dtreeviz
from IPython.display import SVG

# 決定木の分岐可視化
viz = dtreeviz(model_XGB,                               # モデル
               x_data=X_train,                          # 説明変数（DataFrame）
               y_data=Y_train["Species"],               # 正解ラベル（Series）
               target_name="Species",                   # 正解ラベルのカラム名
               feature_names=X_train.columns.tolist(),  # 説明変数項目名
               tree_index=0,                            # 可視化する決定木のインデックス                        
              )


# svg形式で保存
viz.save("xgboost.svg")

# 分岐可視化
SVG(filename="xgboost.svg")

# ============================================================
# 可視化
# ============================================================

import matplotlib.pyplot as plt

# 可視化する決定木のインデックス
index_tree = 1

# 可視化設定
tree_plot = xgboost.plot_tree(model_XGB,          # モデル
                       num_trees=index_tree,      # 可視化する決定木のインデックス
                       figsize=(20, 15)           # 画像サイズ
                      )
# グラフ表示
plt.show()

# 画像保存
picture = xgboost.to_graphviz(model_XGB,          # モデル
                            num_trees=index_tree, # 可視化する決定木のインデックス 
                            figsize=(20, 15)      # 画像サイズ
                           )
picture.render("xgb_tree_plot",view=True,format='png')

# ============================================================
# 推論
# ============================================================

Y_pred_XGB = model_XGB.predict(X_test)

# 出力
print(Y_pred_XGB)

# 出力イメージ
# [0 0 0 0 0 2 1 0 2 1 1 0 1 1 2 0 1 2 2 0 2 2 2 1 0 2 2 1 1 1 0 0 2 1 0 0 2 0 2 1 2 1 0 0 2]

# ============================================================
# 性能評価
# ============================================================

from sklearn.metrics import accuracy_score
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score

# 推論
Y_pred_XGB = model_XGB.predict(X_test)

# 性能評価
print("正解率: " + str(round(accuracy_score(Y_test,Y_pred_XGB),3)))
print("適合率: " + str(round(precision_score(Y_test,Y_pred_XGB, average="macro"),3)))
print("再現率: " + str(round(recall_score(Y_test,Y_pred_XGB, average="macro"),3)))

# 出力結果
# 正解率: 0.978
# 適合率: 0.978
# 再現率: 0.976