ロジスティック回帰(非線形分離)

前提知識
　・パーセプトロン
　・勾配法(最急降下法)
　・ロジスティック回帰(線形分離)
　・シグモイド関数
　・python関数

こちらでロジスティック回帰による線形分離の方法を説明しましたが、 以下の様に一次式では分離できない場合の対応として非線形分離の方法を説明します。



■考え方
やり方は線形分離の方法と同じく、パーセプトロンを用いる(活性化関数はシグモイド関数)のですが、異なる点はパーセプトロンへの入力式が多項式になる点です。 以下は２次の多項式の場合です。



重みの更新方法も線形分離と同じく勾配法を用いております。(1)式は多項式になっても変わりは有りません。誤差Ｅの微分を行うので、xの多項式になると形が変わるかと思いますが、 この微分は重みwの微分であるため、xは係数として扱われるのでwが2乗などにならない限り形は変わりません。



■pythonによる実装
実際にpythonでプログラムを作り動作を確認します。対象データは冒頭のグラフのデータとします。環境及びプログラムファイル等は以下。

　・pythonバージョン：Ver3.6で確認
　・必要ライブラリ：numpy,matplotlib　(インストール方法はこちら)
　・必要ファイル：logistic2.zip(プログラムファイル, 分類対象データ)

プログラムの内容は線形分離時のプログラムとほとんど同じで、異なる点は入力関数が多項式になっている点のみです。

実行結果
以下のとおり。きちんと分離することができました。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 機械学習 機械学習とは パラメトリックモデル 回帰,分類,クラスタリングの違い 分類(classification) 分類問題とは ナイーブベイズフィルタ 符号関数による分類 ロジスティック回帰 ・線形分離 ・非線形分離 サポートベクターマシン 決定木 k-近傍法 ニューラルネットワーク(NN) NNとは パーセプトロン 勾配法(最急降下法) ・機械学習への適用 損失関数(誤差関数) 誤差逆伝播法 交差検証 , ホールドアウト 活性化関数 ・ステップ , 符号関数 ・シグモイド ・ReLU ・Softmax ・tanh MNISTデータセット CIFAR-10データセット 画像認識方法 画像認識方法② 畳み込みNN(CNN) 再帰型NN(RNN) LSTM kerasによる実装例 ・NN ・CNN ・ディープラーニング クラスタリング k-means 強化学習 強化学習とは 価値関数 , ベルマン方程式 マルコフ決定過程 ε-greedy法 TD学習_スキナー箱 TD学習_Cartpole モンテカルロ法_Blackjack Deep Q-Network(DQN) ・DQNとは_スキナー箱 ・cartpole問題 ・Experience Replay 敵対的生成ネットワーク GAN DCGAN seqGAN seqGAN用文章データ作成