【Python】多項式回帰モデルの作成・評価方法｜scikit-learn・機械学習による回帰分析入門

# データ前処理
import numpy as np
import pandas as pd

# データ可視化
import matplotlib.pyplot as plt
import seaborn as sns
plt.style.use("ggplot")
# %matplotlib inline

# グラフの日本語表記対応
from matplotlib import rcParams
rcParams["font.family"]     = "sans-serif"
rcParams["font.sans-serif"] = "Hiragino Maru Gothic Pro"

# データセット読込
from sklearn.datasets import load_boston
boston = load_boston()

# DataFrame作成
df = pd.DataFrame(boston.data)
df.columns = boston.feature_names
df["MEDV"] = boston.target

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.model_selection import train_test_split

""" モデル準備　"""
# モデルの変数
X = df[['LSTAT']].values  # 説明変数
y = df['MEDV'].values     # 目的変数

# 学習・テストデータ分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

""" 多項式が2次の項を追加　"""
# 回帰モデルのインスタンス化
model_reg = LinearRegression()

# 2次の多項式特徴量のクラスをインスタンス化
quadratic = PolynomialFeatures(
                               degree=2,                  # 多項式の次数
                               interaction_only=False,    # Trueの場合、ある特徴量を2乗以上した項が除かれる
                               include_bias=True,         # Trueの場合、バイアス項を含める
                               order='C'                  # 出力する配列の計算順序
                              )

# データ演算・変換
X_quad_train  = quadratic.fit_transform(X_train)

# 回帰モデルに上記データを適合
model_reg.fit(X_quad_train, y_train)

""" データプロット """
# 多項式曲線を描くためのプロット
X_fit          = np.arange(X_train.min(), X_train.max(), 1)[:, np.newaxis]
X_quad_fit     = quadratic.fit_transform(X_fit)
y_quad_predict = model_reg.predict(X_quad_fit)

plt.plot(X_fit, 
         y_quad_predict, 
         label='quadratic (d=2)',
         color='blue', 
         lw=3,
         linestyle='--'
        )

# トレーニングデータのプロット
plt.scatter(X_train, y_train, label='トレーニングデータ', color='lightgray')

# グラフの書式設定
plt.xlabel('LSTAT（低所得者の割合）')
plt.ylabel('MEDV（住宅価格の中央値）')
plt.legend(loc='upper right')
plt.show()

quadratic = PolynomialFeatures(
                               degree=2,                  
                               interaction_only=False,    
                               include_bias=True,         
                               order='C'                  
                              )

from sklearn.metrics import r2_score            # 決定係数
from sklearn.metrics import mean_squared_error  # RMSE

# 推論のために学習データ＆テストデータを変換
X_quad_train         = quadratic.fit_transform(X_train)
X_quad_test          = quadratic.fit_transform(X_test)

# 平均平方二乗誤差(RMSE)
print('RMSE 学習: %.2f, テスト: %.2f' % (
        mean_squared_error(y_train, model_reg.predict(X_quad_train), squared=False),   # 学習
        mean_squared_error(y_test, model_reg.predict(X_quad_test),   squared=False)    # テスト
      ))

# 決定係数(R^2)
print('R^2 学習: %.2f, テスト: %.2f' % (
        r2_score(y_train, model_reg.predict(X_quad_train)), # 学習
        r2_score(y_test,  model_reg.predict(X_quad_test))   # テスト
      ))


# 出力結果
# RMSE 学習: 6.08, テスト: 6.39
# R^2 学習: 0.56, テスト: 0.51

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.model_selection import train_test_split

""" モデル準備　"""
X = df[['LSTAT']].values  # 説明変数
y = df['MEDV'].values     # 目的変数

# 学習・テストデータ分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 回帰モデルのインスタンス化
model_reg = LinearRegression()

""" 多項式が2次の項を追加　"""

# 2次の多項式特徴量のクラスをインスタンス化
cubic = PolynomialFeatures(
                           degree=3,                  # 多項式の次数
                           interaction_only=False,    # Trueの場合、ある特徴量を2乗以上した項が出力されない
                           include_bias=True,         # Trueの場合、バイアス項を含める
                           order='C'                  # 出力する配列の計算順序
                              )

# データ演算・変換
X_cubic_train  = cubic.fit_transform(X_train)

# 回帰モデルに上記データを適合
model_reg.fit(X_cubic_train, y_train)

""" データプロット """
# 多項式曲線を描くためのプロット
X_fit          = np.arange(X_train.min(), X_train.max(), 1)[:, np.newaxis]
X_cubic_fit     = cubic.fit_transform(X_fit)
y_cubic_predict = model_reg.predict(X_cubic_fit)

plt.plot(X_fit, 
         y_cubic_predict, 
         label='cubic (d=3)',
         color='green', 
         lw=3,
         linestyle='--'
        )

# トレーニングデータのプロット
plt.scatter(X_train, y_train, label='トレーニングデータ', color='lightgray')

# グラフの書式設定
plt.xlabel('LSTAT（低所得者の割合）')
plt.ylabel('MEDV（住宅価格の中央値）')
plt.legend(loc='upper right')

plt.show()

from sklearn.metrics import r2_score            # 決定係数
from sklearn.metrics import mean_squared_error  # RMSE

# 推論のために学習データ＆テストデータを変換
X_cubic_train         = cubic.fit_transform(X_train)
X_cubic_test          = cubic.fit_transform(X_test)

# 平均平方二乗誤差(RMSE)
print('RMSE 学習: %.2f, テスト: %.2f' % (
        mean_squared_error(y_train, model_reg.predict(X_cubic_train), squared=False), # 学習
        mean_squared_error(y_test, model_reg.predict(X_cubic_test),   squared=False)    # テスト
      ))

# 決定係数(R^2)
print('R^2 学習: %.2f, テスト: %.2f' % (
        r2_score(y_train, model_reg.predict(X_cubic_train)), # 学習
        r2_score(y_test,  model_reg.predict(X_cubic_test))   # テスト
      ))


# 出力結果
# RMSE 学習: 5.25, テスト: 5.66
# R^2 学習: 0.68, テスト: 0.61