情報理論基礎 試験問題（2014年度）

2014年 5月29日

問 1. 記号 $S = \left\{ s_1, s_2, \cdots, s_m \right\}$ で表現できる情報量を示しなさい。 また、この情報量が最大になる条件と最大値を示しなさい。

問 2. 情報記録システムで用いる符号 $c_1$、$c_2$、$c_3$、$c_4$ では、 それぞれ 1/1000、1/200、1/500、1/100 の割合で誤りが発生するそうである。 また、これらの符号 $c_1$、$c_2$、$c_3$、$c_4$ の生起確率は、 それぞれ 3/11、2/11、5/11、1/11 である。 このとき、次の問いに答えなさい。

(1) このシステムで正しく記録される確率を求めなさい。

(2) このシステムで誤りが発生したときに、符号 $c_2$ が記録されていた確率を求めなさい。

問 3. 送信記号を $\left\{\mbox{\lq\lq 0''},\mbox{\lq\lq 1''}\right\}$ とするような2元通信系で、 送信記号 ``1'' に対する受信信号が、 期待値 $\mu_1=1$、分散 $\sigma_1^2=1/36$ の正規分布に従うとする。 この通信系で ``1'' を送信したときに判定を誤る確率（記号誤り率）を 0.0002 以下にするための判定しきい値（受信信号がしきい値を超えれば ``1'' と判定する）を求めなさい。

問 4. 下図のような2元通信路の伝送情報量を求めなさい。

ただし、送信信号$X$を

$$X = \left\{ \begin{array}{ccc} x_1 &, & x_2 \\ \gamma &, & 1-\gamma \end{array} \right\}$$

としなさい。

問 5. 問 4. の通信路で $\alpha =\beta = 1/100$としたときの通信路容量を求めなさい。 ただし、 $\log_2 3 = 1.58$、 $\log_2 5 = 2.32$、 $\log_2 7 = 2.81$、 $\log_2 11 = 3.46$として計算しなさい。