情報理論基礎 試験問題 （2007年度）

2007年 5月 31日

問 1. 1つの2元記号で表現できる情報量の定義とその最大値を、シャノンの情報理論に基づいて示しなさい。


問 2. 送信記号を $ \left\{\lq\lq 0'',\lq\lq 1''\right\}$ の2元とする2元対称通信路で、 送信記号 ``1'' に対する受信信号は、期待値$ \mu_1=1$、分散 $ \sigma_1^2=1/25$の正規分布に従うことがわかっている。 受信信号が 0.5 以上のときに ``1'' と正しく判定できるとして、送信記号 ``1'' に対する記号誤り率を求めなさい。


問 3. 送信信号$ X$、受信信号$ Y$とする通信路において、送信信号の生起確率が

$\displaystyle X=\left\{ \begin{array}{cc} x_1, & x_2 \\ 2/5, & 3/5 \end{array}\right\} $

であり、通信路行列$ P$が

$\displaystyle P = \left[ \begin{array}{rr} 3/4 & 1/4 \\ 1/4 & 3/4 \end{array}\right] $

であるとする。 この通信路の伝送情報量$ I(X;Y)$を求めなさい。 ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算しなさい。


問 4. あるネットワーク機器が一定期間内に通信できなくなる事象を$ B$とする。 その原因として
$ A_1$ : 誤設定
$ A_2$ : インタフェース・カードの故障
$ A_3$ : 本体の故障

の3つの事象があり、それぞれの生起確率は $ P(A_1)=0.2$、 $ P(A_2)=0.1$、 $ P(A_1)=0.1$ であるとする。 また、事後確率はそれぞれ
$ P(B\vert A_1) = 0.6$
$ P(B\vert A_2) = 0.3$
$ P(B\vert A_3) = 0.1$
であるとする。 このとき、次の問に答えなさい。
(1) このネットワーク機器を期間内使い続けることができる確率 $ P\left(\overline{B}\right)$を求めなさい。
(2) ネットワーク機器が通信不能に陥ったときに、その原因が本体の故障によるものである確率$ P(A_3\vert B)$を求めなさい。


問 5. 情報源 $ S = \left\{ s_1, s_2, s_3, s_4, s_5 \right\}$ を次の $ C_1 \sim C_5$のように2元符号化した。 符号 $ C_1 \sim C_5$について以下の問に答えなさい。

  $ C_1$ $ C_2$ $ C_3$ $ C_4$ $ C_5$
$ s_1$ 0 1 0 000 1
$ s_2$ 10 110 10 001 01
$ s_3$ 110 001 110 010 000
$ s_4$ 1110 011 1110 011 0010
$ s_5$ 1011 101 11110 100 0011

(1) 符号の木を用いて、 $ C_1 \sim C_5$のうち瞬時符号であるものをすべてあげなさい。
(2) $ S$の生起確率を

$\displaystyle S = \left\{ \begin{array}{ccccc} s_1, & s_2, & s_3, & s_4, & s_5 \\ 0.40,& 0.25,& 0.20,& 0.10,& 0.05 \end{array} \right\} $

としたとき、ハフマン符号化アルゴリズムを用いて、 $ C_1 \sim C_5$のうちからハフマン符号を選びなさい。