【AI・機械学習】ROC曲線・PR曲線・AUC｜2値分類モデルの性能評価方法を解説！

2022年1月17日

当ページには広告が含まれています。

こんにちは、DXCEL WAVEの運営者(@dxcelwave)です！

本記事では下記のような疑問にお答えします！

【はじめに】機械学習分類モデルの性能評価方法の解説範囲

本記事は機械学習教師あり学習における分類モデルの評価方法に焦点に当てて解説します。その中でも以下が今回の解説範囲です。

ここで上記の解説にあたり下記の言葉が幾度か登場します。

本記事では混合行列、適合率、再現率、偽陽性率の意味解説は割愛しています。そのため、もし上記の言葉の理解が怪しいと感じられる場合、下記の記事からご覧いただくことを推奨します。

ROC曲線は機械学習分類モデル、特に2値分類モデルに特化した評価指標としてよく用いられます。以下ROC曲線とはどのようなものか具体的に見ていきましょう！

グラフ軸	概要
再現率[%]	実際にPositiveだったデータのうち、正しくPositiveとして予測できた割合
偽陽性率[%]	実際にNegativeだったデータのうち、誤ってPositiveと予測してしまった割合

ROC(Receiver Operatorating Characteristic curve)曲線は、縦軸に再現率（TPR)、横軸に偽陽性率（FPR)を用います。

ROC曲線の対角線はランダムな推定線として置かれ、対角線を下回る機械学習分類モデルは、ランダムな推定よりも性能が劣ると見なされます。

完璧な分類モデルは、理想線のように位置づけられ、再現率=1、偽陽性率=0を取ります。

機械学習分類モデルの性能を定量的に評価するために、ROC曲線に基づいて曲線下面積（AUC)を算出します。

ACUとはROC曲線に囲まれた面積を指します。面積は0〜1の範囲で値を取り、AUCが1に近いほど分類モデルの性能が高いと評価します。

具体的な分類モデルの評価について、図を用いてイメージしましょう。

左図の場合、ROC曲線は理想線に近く、AUCも0.85と高い値を示しています。右図の場合、ROC曲線はランダム推定線に近く、AUCは0.52と低いです。

よって上記例の場合、左図の結果を示す分類モデルの方が性能が高いと評価します。

ROC曲線と同様に、2値分類モデルの評価指標としてPR曲線を用いる場合もあります。以下詳細を確認していきましょう。

グラフ軸	概要
適合率[%]	Positiveと予測した全データのうち、正しくPositiveと予測できた割合
再現率[%]	実際にPositiveだったデータのうち、正しくPositiveとして予測できた割合

PR曲線とは、縦軸に適合率、横軸に再現率をとる曲線です。

PR曲線の対角線は、ROC曲線同様ランダムな推定線として置かれ、対角線を下回る分類モデルは、ランダムな推定よりも性能が劣ると見なされます。

完璧な分類モデルは、理想線のように位置づけられ、適合率=1を取ります。

機械学習分類モデルの性能を定量的に評価するために、PR曲線に基づいてAUCを算出する場合もあります。

ここでいうACUとは、PR曲線に囲まれた面積を指します。面積は0〜1の範囲で値を取り、AUCが1に近いほど分類モデルの性能が高いと評価します。