情報理論基礎 試験問題（2009年度）

2009年 6月 2日

問 1. エントロピー関数について、平均情報量（自己エントロピー）の定義にもとづいて説明しなさい。 また、グラフを用いてエントロピー関数の特徴を示しなさい。

問 2. あるメーカが製造している情報通信機器は (1) 操作ミス、 (2) 整備不良、 (3) 製造不良 の3つの原因でトラブルを起こし、 それぞれ 0.40、0.10、0.05 の確率で発生しているという。 また (1)、(2)、(3) が原因でこの機器が返品される確率は、 それぞれ 0.25、0.60、0.80 であることがわかっている。 このとき、次の問に答えなさい。

(1) この機器が返品される確率を求めなさい。

(2) この機器が返品されたときに、その原因が (3) によるものである確率を求めなさい。

問 3. 情報源からの送信記号を $\left\{\mbox{\lq\lq 0''},\mbox{\lq\lq 1''}\right\}$ の2元とする2元対称通信路で、 送信記号 ``1'' に対する受信信号は、期待値 $\mu_1=1.15$、分散 $\sigma_0^2=1/36$の正規分布に従うことがわかっている。 受信信号が $0.50$ 以上のときに ``1'' と正しく判定できるとして、記号誤り率（反転確率）を求めなさい。

問 4. 送信信号と受信信号をそれぞれ $X$と$Y$とする通信路において、送信信号の確率モデルが

$$X=\left\{ \begin{array}{cc} x_1, & x_2 \\ 1/3, & 2/3 \end{array}\right\}$$

であり、通信路行列$P$が

$$P = \left[ \begin{array}{rr} 4/5 & 1/5 \\ 1/5 & 4/5 \end{array}\right]$$

であるとする。 この通信路の伝送情報量 $I(X;Y)$ を求めなさい。 ただし、 $\log_2 3 = 1.58$、 $\log_2 5 = 2.32$、 $\log_2 7 = 2.81$、 $\log_2 11 = 3.46$として計算しなさい。

問 5. 情報源 $S = \left\{ s_1, s_2, s_3, s_4, s_5 \right\}$ の生起確率を

$$S = \left\{ \begin{array}{ccccc} s_1, & s_2, & s_3, & s_4, & s_5 \\ 1/5, & 1/4, & 2/5, & 1/10,& 1/20 \end{array} \right\}$$

としたとき、以下の問に答えなさい。

(1) 情報源$S$をハフマン符号で符号化し、求めた符号が瞬時符号であることを確かめなさい。

(2) (1)で求めた符号の効率を求めなさい。

　ただし、 $\log_2 3 = 1.58$、 $\log_2 5 = 2.32$、 $\log_2 7 = 2.81$、 $\log_2 11 = 3.46$として計算しなさい。