単回帰分析、最小二乗法とは

前提知識
　・偏微分
　・分散、共分散
　・二乗和(残差平方和)

■単回帰分析とは

回帰分析とは、あるデータの集まりをもっともらしい関数で表現する(近似する)ことですが、単回帰分析とはデータの集まりを一つの変数で表すことをいいます。 従ってその関係性は、y＝ax＋bという一次方程式の形で表すことができます。この時xを説明変数、yを目的変数と呼びます。



回帰分析の種類には、単回帰分析の他に多項式回帰分析や重回帰分析があり、多項式回帰は説明変数が一つの多項式で回帰することで、重回帰分析は説明変数が複数を用いて回帰することをいいます。



次に、回帰分析する手法の一つである最小二乗法を説明します。

■最小二乗法とは

最小二乗法とは『実データとの誤差の二乗和(残差平方和)が最も小さくなるような』回帰式を求める手法です。

具体的には、実データと誤差の二乗和を誤差関数と定義し、誤差関数が最も小さくなる時の条件を求めるため、 誤差関数を偏微分して微分結果が0になるような係数を求めれば良いです。


考え方は以上です。それでは実際に計算していきます。

＜誤差関数の算出＞

＜誤差関数の偏微分＞
(1)式をAとBでそれぞれ偏微分します。



となりAとBを求めることができました。これをグラフに描くと以下となります。

■最小二乗法の公式

■エクセルによる回帰分析の方法

上記ではほぼ手作業で回帰係数を求めましたが、エクセルで簡単に求めることができ、また回帰係数がどれくらい元のデータを表現しているか分析できます。詳細はこちら。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 確率・統計 統計/解析 平均値、中央値、最頻値 平均値と期待値の違い 二乗平均、二乗和 移動平均 分散、標準偏差、共分散 偏差値 単回帰分析,最小二乗法 重回帰分析 リッジ回帰, ラッソ回帰 カーネル法, カーネル関数 ガウス過程回帰 エクセルによる回帰分析 最小二乗法の公式導出 主成分分析 疑似乱数, 準乱数 基底関数 仮説検定 モンテカルロ法 パレートの法則 データを正しく読む 有効サンプル数 ベイズ理論 ベイズの定理 ベイズの定理応用形 逐次ベイズ推定 ナイーブベイズフィルタとは 確率分布推定 確率分布推定(正規分布) MAP推定,最尤推定 ベイジアンネットワーク 確率 同時確率、条件付き確率 組み合わせの計算方法 確率変数 , 確率分布とは ・ベルヌーイ分布 ・二項分布 ・正規分布, ガウス分布 ・ポアソン分布 ・ベータ分布 ・ワイブル分布 ・カイ二乗分布 ・t分布 確率過程とは