【機械学習×Python】グリッドサーチによるハイパーパラメータ最適化方法を実演・ランダムフォレストによるモデル構築

"""
①データセットの準備(Sckit-learnで提供されているアヤメのデータを利用)
"""
import numpy as np
import pandas as pd
from sklearn import datasets

# データロード
iris = datasets.load_iris()

# 説明変数
X = iris.data
X = pd.DataFrame(X, columns=["Sepal Length", "Sepal Width", "Petal Length", "Petal Width"])

# 目的変数
Y = iris.target
Y = iris_target = pd.DataFrame(Y, columns = ["Species"])

"""
②モデル学習
　・ランダムフォレストを識別子として利用
　・ハイパーパラメータのチューニング手法にはグリッドサーチを採用
"""

from sklearn.ensemble        import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split

# 学習データ＆テストデータ分割
X_train, X_test,  Y_train, Y_test = train_test_split(X.values,Y.values,test_size=0.3, random_state=3)

# グリッドサーチによるハイパーパラメータ探索候補設定
# 今回はRandomForestClassifierのパラメータが対象(値は任意に設定)
parameters = {  
    'n_estimators': [10, 20, 30, 50, 100, 300],     # 用意する決定木モデルの数
    'max_features': ('sqrt', 'log2','auto', None),  # ランダムに指定する特徴量の数
    'max_depth':    (10, 20, 30, 40, 50, None),     # 決定木のノード深さの制限値
}

# モデルインスタンス
model = RandomForestClassifier()

# ハイパーパラメータチューニング(グリッドサーチのコンストラクタにモデルと辞書パラメータを指定)
gridsearch = GridSearchCV(estimator = model,        # モデル
                          param_grid = parameters,  # チューニングするハイパーパラメータ
                          scoring = "accuracy"      # スコアリング
                         )


# 演算実行
gridsearch.fit(X_train, Y_train)

# グリッドサーチの結果から得られた最適なパラメータ候補を確認
print('Best params: {}'.format(gridsearch.best_params_)) 
print('Best Score: {}'.format(gridsearch.best_score_))

gridsearch = GridSearchCV(estimator  = モデルを指定,             # 今回はRandomForestClassifierが対象 
                          param_grid = モデルのパラメータ指定,     # 今回はRandomForestのパラメータ(引数)が対象
                          scoring    = 基準となる評価方法を指定,   # (例) 'accuracy'(正解率),‘f1_micro’(F値) 
                          )

# 最適なハイパーパラメータの組み合わせを用いてモデル再構築
model = RandomForestClassifier(n_estimators = gridsearch.best_params_['n_estimators'], # 用意する決定木モデルの数
                               max_features = gridsearch.best_params_['max_features'], # ランダムに指定する特徴量の数
                               max_depth    = gridsearch.best_params_['max_depth'],    # 決定木のノード深さの制限値
                               criterion='gini',                                       # 不純度評価指標の種類(ジニ係数）
                               min_samples_leaf = 1,                                   # 1ノードの深さの最小値
                               random_state = 0,                                       # 乱数シード
                              )

# モデル学習
model.fit(X_train,Y_train)

from sklearn import metrics

# 評価
predicted = model.predict(X_test)
print(metrics.accuracy_score(predicted,Y_test))