情報理論基礎 試験問題 （2006年度）

2006年 5月 30日

問 1.　 自己情報量の満たすべき条件を示した上で、自己情報量の定義を示しなさい。


問 2.　 送信記号 $ X=\left\{0,1\right\}$ とする2元通信路で、 送信信号 0 に対する受信信号が、期待値$ \mu_0=0$、分散 $ \sigma_0^2=1/36$の正規分布に従い、 送信信号 1 に対する受信信号が、期待値$ \mu_1=1$、分散 $ \sigma_1^2=1/36$の正規分布 に従うとする。 このとき、この通信路を2元対称通信路とするための条件を、その理由とともに示しなさい。


問 3.　 送信信号$ X$、受信信号$ Y$とする通信路において、送信信号の生起確率が

$\displaystyle X=\left\{ \begin{array}{cc} x_1, & x_2 \\ 1/4, & 3/4 \end{array}\right\} $

であり、通信路行列$ P$が

$\displaystyle P = \left[ \begin{array}{rr} 3/4 & 1/4 \\ 1/4 & 3/4 \end{array}\right] $

であるとする。 この通信路の伝送情報量$ I(X;Y)$を求めなさい。 ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算しなさい。


問 4.　 ある情報通信用スイッチが一定期間内に通信不能に陥るという事象を$ B$とする。また、その原因として

$ A_1$ : 設定ミス
$ A_2$ : 外部接続端子の故障
$ A_3$ : 本体の故障

の3つの事象があり、それぞれの生起確率は $ P(A_1)=0.2$、 $ P(A_2)=0.1$、 $ P(A_1)=0.1$ であるとする。また、事前確率

$ P(B\vert A_1) = 0.6$
$ P(B\vert A_2) = 0.3$
$ P(B\vert A_3) = 0.1$
であるとする。 このとき、次の問に答えなさい。
(1) 情報通信用スイッチが通信不能に陥る確率を求めなさい。
(2) 情報通信用スイッチが通信不能に陥ったときに、その原因が設定ミスによるものである確率を求めなさい。


問 5.　 情報源 $ S = \left\{ s_1, s_2, s_3, s_4, s_5 \right\}$ を次の $ C_1$〜$ C_5$のように2元符号化した。 符号$ C_1$〜$ C_5$について以下の問に答えなさい。

  $ C_1$ $ C_2$ $ C_3$ $ C_4$ $ C_5$
$ s_1$ 0 1 0 000 1
$ s_2$ 10 110 10 001 01
$ s_3$ 110 001 110 010 000
$ s_4$ 1110 011 1110 011 0010
$ s_5$ 1011 101 11110 100 0011

(1) 瞬時符号であるものをすべてあげ、その理由を説明しなさい。
(2) $ S$の生起確率を

$\displaystyle S = \left\{ \begin{array}{ccccc} s_1, & s_2, & s_3, & s_4, & s_5 \\ 0.40,& 0.25,& 0.20,& 0.10,& 0.05 \end{array} \right\} $

としたときの Huffman符号を選び、その理由を説明しなさい。