情報量のエントロピーとは

前提知識

■情報量のエントロピーとは

情報理論におけるエントロピーとは、その情報がどれくらいの情報量を持っているか表す指標で、平均情報量ともいわれています。 エントロピーとは「均質化」「一様化」という意味を持っており、情報が一様化であるならばエントロピーは小さいと言えます。

＜自己情報量＞
事象Eが起こる確率P(E)と、事象Eが起こった事を知った時の情報量I(E)の関係を以下の様に対数で定義します。 以下式が表すのは、事象Eが起こる確率が小さければ小さい程その情報量が大きく、事象Eが起こる確率が大きければ大きい程その情報量は少ないことを意味しております。 例えば、その事象が必ず起きるとするならば、そこに情報量は全くないという事になります。



＜平均情報量(エントロピー)の計算方法＞
エントロピーは、事象Eが起こる確率P(E)をもつ全ての情報量I(E)の期待値Hとして、以下で表すことができます。



具体例として、オモテの出る確率が0.6、ウラの出る確率が0.4のコインの持つ情報量を計算すると以下となります。



オモテの出る確率をP、ウラの出る確率を(1-P)とした時、Pに応じたエントロピーは以下の様に表すことができます。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー ソフトウェア アルゴリズムの計算量 ホーナー法 二分探索法 プログラムとスクリプト モデルベース開発 ValidationとVerification アジャイルとウォーターフォール ブートローダ DX ブロックチェーン 情報エントロピー 暗号化技術 ・エンコード,デコード ・ハッシュ関数 ・暗号化の仕組み 自然言語処理 ・青空文庫の本文抽出 ・形態素解析 ・単語にIDを付与し辞書作成 ・Bag Of Words(BOW) ・Word2Vec 画像処理 ・画像フィルタ ・アフィン変換 スクレイピング ・スクレイピングとは ・webの画像ダウンロード ・malformed AAC bitstream