情 報 理 論 − 確率・統計 − Shannon 情報理論(通信理論) “Mathematical Theory of Communication” 情報量の自然な定義 雑音のある伝送路における通信容量 情報量 情報源のエントロピー H(X) = − Σ P(xi) log P(xi) i 情報源の有する不確定性の大きさによって情報量を定める