交差検証　ホールドアウト検証

前提知識

ホールドアウト検証、交差検証とは、機械学習においてモデルがどれだけオーバーフィッティングされておらず汎化性能を持っているか評価するため、またはハイパーパラメータ(学習率など人間が試行錯誤で決めるパラメータ)を調整するための手法です。

■訓練データ、検証データ、テストデータの違い
ホールドアウト検証、交差検証を説明する前に、これらデータの意味を説明します。学習/テストの基本的な流れは、先に訓練データを用いてパラメータを学習させ、その後テストデータを用いて学習器の精度を評価します。 テストデータはパラメータの学習に使用してはならず、最後のテストの時に1回だけ使用するのが理想的です。



ハイパーパラメータを調整する場合、訓練データとは別に検証データを用意するか、訓練データを分割して検証データを用意し、検証データでハイパーパラメータを調整します。



■ホールドアウト検証:Hold-out validation
データを訓練用データと検証用データに2分割、固定して評価します。複数回評価するときも常にこのパターンで学習させていきます。



■交差検証:Cross validation
訓練用と検証用の分割パターンを変更して、評価します。この方がホールドアウト検証より効率的に汎化性能が高められるのがメリットですが、計算時間が分割数倍だけ長くなるのがデメリットです。 分割数をkとしてk-分割交差検証ともいいます。下記は4分割の例。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 機械学習 機械学習とは パラメトリックモデル 回帰,分類,クラスタリングの違い 分類(classification) 分類問題とは ナイーブベイズフィルタ 符号関数による分類 ロジスティック回帰 ・線形分離 ・非線形分離 サポートベクターマシン 決定木 k-近傍法 ニューラルネットワーク(NN) NNとは パーセプトロン 勾配法(最急降下法) ・機械学習への適用 損失関数(誤差関数) 誤差逆伝播法 交差検証 , ホールドアウト 活性化関数 ・ステップ , 符号関数 ・シグモイド ・ReLU ・Softmax ・tanh MNISTデータセット CIFAR-10データセット 画像認識方法 画像認識方法② 畳み込みNN(CNN) 再帰型NN(RNN) LSTM kerasによる実装例 ・NN ・CNN ・ディープラーニング クラスタリング k-means 強化学習 強化学習とは 価値関数 , ベルマン方程式 マルコフ決定過程 ε-greedy法 TD学習_スキナー箱 TD学習_Cartpole モンテカルロ法_Blackjack Deep Q-Network(DQN) ・DQNとは_スキナー箱 ・cartpole問題 ・Experience Replay 敵対的生成ネットワーク GAN DCGAN seqGAN seqGAN用文章データ作成