情報理論基礎 試験問題（2008年度）

2008年 5月 29日

問 1. 相互エントロピー（相互情報量）とは、2つの通報の組の間のどのような情報量を表すものか説明しなさい。 また、自己エントロピー（平均情報量）、結合エントロピー、条件付きエントロピーとの関係を示しなさい。


問 2. 情報源からの送信記号を $ \left\{\mbox{\lq\lq 0''},\mbox{\lq\lq 1''}\right\}$ の2元とする2元対称通信路で、 送信記号 ``0'' に対する受信信号は、期待値$ \mu_0=-1$、分散 $ \sigma_0^2=1/49$の正規分布に従うことがわかっている。 受信信号が $ -0.55$ 以下のときに ``0'' と正しく判定できるとして、記号誤り率（反転確率）を求めなさい。


問 3. 通信システムが利用できなくなるなる原因は (a) 回線障害、 (b) 通信機器の故障、 (c) 電源異常 の3通りで、 それぞれの起こる確率は 0.2、0.5、0.3 である。 また (a)、(b)、(c) が起こったときに、この通信システムが利用できなくなる確率は、 それぞれ 0.4、0.2、0.6 である。 このとき、次の問に答えなさい。

(1) この通信システムを利用し続けることができる確率を求めなさい。

(2) この通信システムが利用できなくなったときに、その原因が (b) によるものである確率を求めなさい。


問 4. 送信信号と受信信号をそれぞれ $ X$と$ Y$とする通信路において、送信信号の確率モデルが

$\displaystyle X=\left\{ \begin{array}{cc} x_1, & x_2 \\ \rho, & 1- \rho \end{array}\right\} $

であり、通信路行列$ P$が

$\displaystyle P = \left[ \begin{array}{rr} 3/4 & 1/4 \\ 1/4 & 3/4 \end{array}\right] $

であるとする。 この通信路の通信路容量を求めなさい。 ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算し、単位は [bit/記号] で答えなさい。

問 5. 情報源 $ S = \left\{ s_1, s_2, s_3, s_4, s_5 \right\}$ を次の $ C_1 \sim C_5$のように2元符号化した。

  $ C_1$ $ C_2$ $ C_3$
$ s_1$ 0 000 1
$ s_2$ 10 001 01
$ s_3$ 110 010 000
$ s_4$ 1110 011 0010
$ s_5$ 11110 100 0011

$ S$の生起確率を

$\displaystyle S = \left\{ \begin{array}{ccccc} s_1, & s_2, & s_3, & s_4, & s_5 \\ 2/5, & 1/4, & 1/5, & 1/10,& 1/20 \end{array} \right\} $

として、符号 $ C_1 \sim C_3$について以下の問に答えなさい。

(1) ハフマン符号化アルゴリズムを用いて、 $ C_1 \sim C_3$のうちからハフマン符号を選びなさい。

(2) (1)でハフマン符号として選んだ符号の効率を求めなさい。 ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算しなさい。