【AI・機械学習】回帰モデルの性能評価および評価指標の解説|決定係数・RMSE・MAE・残差プロット

こんにちは、Kosei(@kay_diacc2)です!

機械学習の性能評価方法の中で「回帰モデルはどうやって評価するの?」本記事ではその疑問に回答します。具体的に、決定係数、RMSE、MAE等の評価指標があり、それら特徴・利用シーンを1つずつ詳しく解説します。

目次

回帰モデルの性能評価

回帰モデルの性能評価の基本は、予測値と実測値の数値の差分である「予測誤差」によって評価できます。この予測誤差が小さいほどモデルの性能が良いと判断するのです。本記事では下記のような評価指標を取扱います。

  • R2(決定係数)
  • RMSE(平均平方二乗誤差)
  • MSE(平均二乗誤差)
  • MAE(平均絶対誤差)
  • 残差プロット

上記のように回帰モデルの評価指標は複数あり、回帰モデルの特徴や用いたデータセットによって使い分けが必要になります。ここで、これら評価指標の違いは何でしょう?結論は「回帰モデルの予測誤差を集計する方法」が違います。回帰モデルの特徴によって適切な評価指標があります。

後述では個々の評価指標を解説していく上で、特徴や利用シーンを具体的に説明していきます。また、Pythonを用いて実際に評価値を出力してみたい方向けの記事もあります。適時ご参照ください。

R2(決定係数)

特徴

R2(決定係数)は、予測誤差を正規化して得られる指標であり、全く予測できていない場合を0、全て予測できた場合を1として評価します。つまり、1に近いほどモデルの性能が高いと言えます。

RMSE(平均平方二乗誤差)

特徴

RMSE(Root Mean Square Error)は「予測誤差の二乗平均を集計した指標」で、値が小さいほどモデルの性能が良いことを示します。R2(決定係数)とは異なり、RMSEで算出される値がそのまま予測値の単位として利用できるのが特徴的です。例えば、モデルの予測値の単位が金額[円]であれば、RMSEの単位も金額[円]として扱うことができるため、現場利用等具体的なシーンを想定しながら評価できる指標と言えます。

利用ケース

RMSEでは、誤差分布の評価対象が正規分布であるほど、正確に評価することができます。計算式からも分かる通り、予測誤差が大きいほどRMSEも大幅に大きくなる傾向にあります。そのため、外れ値(通常の誤差よりも値が大きく離れた誤差)が多く含まれるようなデータセットを利用していた場合、RMSE値も局所解に引っ張られる傾向にあり、正確な評価ができなくなる恐れがあるため注意が必要です。

【参考】平均二乗誤差(MSE)

RMSEは平均二乗誤差(MSE)に平方根を付けた式として表されます。

MAE(平均絶対誤差)

特徴

MAE(Mean Absolute Error)は「予測誤差の絶対値を平均して算出する指標」で、値が小さいほどモデルの性能が良いことを示します。また、RMSEと同様に得られる値がそのまま予測値の単位として適用できるため、現場利用等具体的なシーンを想定しながら評価できる指標と言えます。

利用ケース

MAEはRMSEと比較して外れ値に強いという特徴があります。そのため、データセットに外れ値が多く含まれる場合に有効な指標言えます。

残差プロット

残差プロットは、定量的な指標ではないですが、回帰モデルの性能改善に大きく役立ちます。

残差プロットとは、縦軸に残差・予測誤差(実測値 – 予測値)、横軸に予測値としてプロットしたグラフです。

具体的に、縦軸の残差にはデフォルトとして二乗和誤差(SSE)が用いられることが多いですが、平均二乗誤差(MSE)、平均平方二乗誤差(RMSE)、平均絶対誤差(MAE)もよく用いられます。

回帰モデルの予測が100%正しい場合、残差は0になりますが、現実の回帰モデルで残差がちょうど0になることはまずないでしょう。ただし、良い回帰モデルは、残差の閾値0のまわりに誤差データがランダムに分布する傾向が見られるはずです。

残差プロットを用いると外れ値(閾値から大きく離れている点)の検出もできるようになります。

【参考】分類モデルの評価について

今回は機械学習における教師あり学習の「回帰モデル」の評価指標について詳しく解説しました。「分類モデル」についても当サイトでは詳しく解説しておりますため、是非ご覧ください。

AI・機械学習まとめ

最後までご覧いただきありがとうございました。当サイトでは機械学習・深層学習における理論やPythonを用いた実装方法の解説記事を多数取り扱っております。

【初学者向け】データサイエンス・人工知能(AI)開発のおすすめ学習方法も解説してます。

ディープラーニングを学ぶ上でおすすめの教材はこちらで紹介しています。

最後に

この記事が気に入ったら
フォローしてね!

本記事をシェア!
URLをコピーする
URLをコピーしました!
目次
閉じる