再帰型ニューラルネットワークとは

前提知識
　・ニューラルネットワーク
　・python

■再帰型ニューラルネットワークとは
再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)とは、時系列で意味のあるデータ対して、現在のデータから将来の値を推測するニューラルネットワークです。

例えば以下のようなバネの減衰振動を示すデータに対して、現在の値から将来のバネの動きを推測することができます。



■原理
以下の様に、これまで取得した過去何サンプルかのデータから将来のデータを予測します。予測した値は次のデータを予測する際に用います。



取得したデータは以下の様にニューラルネットワークに入れ、予測値と正解値を比較し学習させることによって、予測精度を高めることができます。



上記ニューラルネットワークを簡易表記すると以下の様になります。



■python(pytorch)による実装
上記で示したバネの減衰振動を表したデータから将来の動きを予測します。必要なファイル、環境は以下のとおり。

　・python : 3.9.5 , pytorch：1.8.1
　・テストデータ、訓練データ：rnn_data.zip
　・プログラムファイル：rnn.zip

＜シミュレーション結果＞ pytorchのRNNの関数はこちらを使用。
以下のとおり。中間層のノードを128個、活性化関数にreluを用いました。エポック数は20,000回で、精度良く予測することができました。なお本来はx軸で100以降区間を予測したいのですが、 ニューラルネットワークとしては全区間の予測をしております。また一度予測値がずれると、そのずれた予測値を用いて演算するため、先の予測値がどんどんずれていきます。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 機械学習 機械学習とは パラメトリックモデル 回帰,分類,クラスタリングの違い 分類(classification) 分類問題とは ナイーブベイズフィルタ 符号関数による分類 ロジスティック回帰 ・線形分離 ・非線形分離 サポートベクターマシン 決定木 k-近傍法 ニューラルネットワーク(NN) NNとは パーセプトロン 勾配法(最急降下法) ・機械学習への適用 損失関数(誤差関数) 誤差逆伝播法 交差検証 , ホールドアウト 活性化関数 ・ステップ , 符号関数 ・シグモイド ・ReLU ・Softmax ・tanh MNISTデータセット CIFAR-10データセット 画像認識方法 画像認識方法② 畳み込みNN(CNN) 再帰型NN(RNN) LSTM kerasによる実装例 ・NN ・CNN ・ディープラーニング クラスタリング k-means 強化学習 強化学習とは 価値関数 , ベルマン方程式 マルコフ決定過程 ε-greedy法 TD学習_スキナー箱 TD学習_Cartpole モンテカルロ法_Blackjack Deep Q-Network(DQN) ・DQNとは_スキナー箱 ・cartpole問題 ・Experience Replay 敵対的生成ネットワーク GAN DCGAN seqGAN seqGAN用文章データ作成