第4回 情報理論

 5月7日(月)2時限目(10:40~12:10) M206

概要 情報量とエントロピーの定義と情報源符号化定理 補足 問題4

キーワード 情報量 エントロピー 情報源符号化定理 


  1. 情報源符号化定理

    1. 情報量
      情報がもつ普遍的意味
      1. 人は知る情報によりびっくりする程度に差がある。つまり価値としての量(情報量)をもつと考える。
      2. 起こりにくいことが生じた(確率的に小さい事柄が生じた)ときほど情報量は大きいと考える。

      情報量の定義  Ii=I(ai)=-log2pi (ビット:binary unit)

    2. エントロピー
       情報源全体がもつ量としての平均情報量=エントロピー(average information content) というものを考え、次の式で定義する。

      情報源のエントロピーの定義  H(S)=Σi=1MpiIi (ビット/情報記号)
       * エントロピーは情報源のあいまいさを表す量と理解できる(次例参照)。

       2元情報源S=
      12
      p1-p
      のエントロピーH(S) を計算すると

      H(S)=-plog2p-(1-p)log2(1-p)

      となる。この値は、p=0で、plog2p=0 とみなす(極限の意味で考える)。また、p=1で、(1-p)log2(1-p)=0とみなす。すると、p=0,1では、H(S)=0 となる。
      一方、p=1/2 では、最大値 1 をとる(グラフ参照)。

      1. p=0のとき、
        S=
        12
        1
        となり、この情報源から出力される情報記号は、確率1でa2であり、a1 は決して出力されない、この意味でSにあいまいさがない
      2. p=1のとき、
        S=
        12
        となり、この情報源から出力される情報記号は、確率1でa1であり、a2 は決して出力されない、この意味でSにあいまいさがない
      3. 一方、p=0.5 のとき、
        S=
        12
        0.50.5
        となり、この情報源からは、a1 と a2 が出力される確率が等しいので、次にどれが出てくるのか、予想がつかない。この意味でSにあいまいさがある

       一般に、
       0≦H(S)≦log2M 
      が成り立つ。

      H(S)=log2M の場合は、すべての情報記号が等確率で出現する(Sが最もあいまいな)場合である。

    3. 情報源符号化定理
       情報源Sに対して、平均符号長Lが次式を満足するような2元瞬時(復号が容易な)符号を作ることができる。

       H(S)≦ L <H(S)+ε

      ここで、ε は任意の正の数である。

       * 情報源符号化の指導原理は、平均符号長が小さい符号化を行え というものであった。この定理は、平均符号長には、下限(エントロピー)があることを教えてくれる。その意味で、数値的に具体的目標が定まり、実際の符号化にあたり非常に助かる。また、エントロピーと等しい平均符号長をもつような符号化は、いろいろな制約のある実際の場合には至難である。そこで許される範囲としてイプシロンεとしての現実的な許容値の範囲内で、具体的な符号化を行えるということを、教えてくれる。


 52枚のトランプをよく切って、任意に1枚取り出してハートのマークが出たらA、それ以外のマークが出たらBを出力する情報源Sがある。 

  1. Aの生起確率を求めよ。
  2.  ハートは52枚中13枚あるので、その生起確率は 13/52=1/4 ・・・(答)

  3. Sのエントロピーを求めよ。
  4.  ハート以外が出る確率は 1-1/4=3/4 であるので、Sのエントロピーはその定義より
    H(S)=1/4×(-log21/4)+3/4×(-log23/4)=1/4×log24+3/4×log24/3
    =1/4×log24+3/4×(log24-log23)=1/4×2+3/4×(2-log23)
    2-3/4log23(ビット/情報記号) ・・・(答)


補足
  • 情報源の性質を表す量として、エントロピーの他に、冗長度(=1情報記号あたりのむだを表したもの)というものもある。
  • 対数の法則と計算(参考)

    問題4
    1. 1から6までの目のついたサイコロ1個を1回ふり、出た目を情報とする情報源Sがある。Sのエントロピーを小数第1位まで求めよ。
    2. 問題3の情報源Sのエントロピーを求めよ。

      

    2012年(平成24年)5月 7日更新
    e-mail: hnagano@sun.ac.jp