Python初心者向け：k-分割交差検証を基本から解説します

はじめに

今回はk-分割交差検証を扱います。k-分割交差検証は、データをk個に分割して、n個を訓練用にk-n個をテスト用に使うということを、分けられたk個のデータが必ず1回はテスト用に使われるように繰り返します。こうすることで、過学習を防ぎ汎化性能を評価することができます。Pythonではsklearnという機械学習用ライブラリを用いることで簡単に交差検証を使ってモデルを検証することができます。

サンプルデータ

今回はirisのデータを使うことにしましょう。

# ライブラリのインポート
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

from sklearn.datasets import load_iris

# データの読み込み
iris=load_iris()
X,Y=iris.data,iris.target

# 行・列数の確認
print(X.shape)
print(Y.shape)

k-分割交差検証

KFoldを使う

まずはKFoldを使ってデータ分割をおこない、上記に記載した訓練用/テスト用に使う組み合わせを変えて、モデルを構築して平均をとってみましょう。

# ライブラリのインポート
from sklearn.model_selection import KFold

# データ
kf=KFold(n_splits=2,shuffle=True)
scores=[]

for train_id,test_id in kf.split(X):
    x=X[train_id]
    y=Y[train_id]
    
    clf=DecisionTreeClassifier(max_depth=3,random_state=42)
    clf.fit(x,y)
    pred_y=clf.predict(X[test_id])
    score=accuracy_score(Y[test_id],pred_y)
    scores.append(score)
    
scores=np.array(scores)
print(scores.mean())

精度96%となりました。この方法でも十分簡単ですが、sklearnのcross_val_scoreを使うともっと簡単に評価することができます。

cross_val_scoreを使う

from sklearn.model_selection import cross_val_score

clf_cross=DecisionTreeClassifier(max_depth=3,random_state=42)
scores=cross_val_score(clf_cross,x,y,cv=10)
print(scores.mean())

汎化性能を評価する

k-分割交差検証の方法がわかったので、実際に確認してみましょう。たとえば、ここで用いたirisのデータを、ロジスティック回帰と決定木でモデル構築してみます。これを交差検証しないで評価した場合と交差検証した場合の評価結果を比較してみましょう。

交差検証をしないで評価

まずはデータを訓練用とテスト用に分割しておきましょう。

# データの分割
X_train,X_test,y_train,y_test=train_test_split(X,Y,test_size=0.5,random_state=0)

次にここでは、ロジスティック回帰と決定木のモデルを作成して評価してみます。

# ロジスティック回帰
# インスタンスの作成
lr=LogisticRegression(random_state=0)

# 学習
lr.fit(X_train,y_train)

# 予測
y_pred=clf.predict(X_test)

# 評価
print(accuracy_score(y_test,y_pred))

次に決定木です。

# 決定木
clf=DecisionTreeClassifier(max_depth=3,random_state=0)

# 学習
clf.fit(X_train,y_train)

# 予測
y_pred=clf.predict(X_test)

# 評価
print(accuracy_score(y_test,y_pred))

ロジスティック回帰でも決定木でも正解率は0.96となりました。次に交差検証で評価してみましょう。

交差検証をして評価

まずはロジスティック回帰からです。

# ロジスティック回帰
from sklearn.linear_model import LogisticRegression

lr=LogisticRegression(random_state=0,max_iter=200)
scores=cross_val_score(lr,x,y,cv=10)
print(scores.mean())

交差検証で評価すると0.94という結果となりました。決定木についてもみておきましょう。

# 決定木
from sklearn.model_selection import cross_val_score

clf_cross=DecisionTreeClassifier(max_depth=3,random_state=0)
scores=cross_val_score(clf_cross,x,y,cv=10)
print(scores.mean())

結果は0.98となりました。こうしてみると、交差検証せずに評価した場合はどちらのモデルも0.96で同等ですが、交差検証で評価すると決定木の方が汎化性能が高い、といえます。

まとめ

いかがでしたか？モデルは未知の値を予測するのが目的ですから、汎化性能は重要な指標となります。是非、この考え方を身に着けておきましょう。

▶ 交差検証を取り入れるとLightGBMの汎化性能をあげることができます。こちらの記事もいっしょにいかがですか？

Python初心者向け：LightGBMを実装を基本から解説

Python初心者の方向けにLightGBMの実装を基本から解説します。irisとTitanicというい慣れた2つのデータセットでまずはLightGBMの実装に慣れてしまいましょう。この記事で誰でもLightGBMを試すことができます。

happy-analysis.com

2021.11.19

Python初心者向け：LightGBMを実装する際の手順

Python初心者の方向けにLightGBMについて、基本的な部分からまとめます。データ量が多くても比較的高速で、精度もでるアルゴリズムなので、ぜひ使えるようになりましょう。パラメータが多いですが、できるだけわかりやすくまとめていきます。

happy-analysis.com

2021.11.19