情報理論基礎 試験問題（2010年度）

2010年 6月 1日

問 1. 情報源 $ S=\{s_1, s_2\}$の生起確率を

$\displaystyle S = \left\{ \begin{array}{ccc} s_1 & , & s_2 \\ p & , & 1-p \end{array}\right\} $

とする。 情報源$ S$の自己エントロピー（平均情報量）を示しなさい。 また、その自己エントロピーの最大値と最小値について説明しなさい。


問 2. 送信記号を $ \left\{\mbox{\lq\lq 0''},\mbox{\lq\lq 1''}\right\}$ とするような2元対称通信路において、 送信記号 ``0''、``1'' に対する受信信号の期待値がそれぞれ $ \mu_0=0$、$ \mu_1=1.0$で、分散がともに $ \sigma^2=1/16$ の正規分布に従うことがわかっているとする。 この通信路を用いて、判定しきい値を $ 0.5$（受信信号が0.5以下では``0''、0.5より大きくなると``1''と判定する）としたときに判定を誤る確率（記号誤り率）を求めなさい。 ただし、送信記号 ``0''、``1'' を送信する確率 $ P($``0''$ )=P($``1''$ )=1/2$ とする。


問 3. 情報源 $ S = \left\{ s_1, s_2, s_3, s_4, s_5 \right\}$ を次の $ C_1 \sim C_4$のように2元符号化した。

  $ C_1$ $ C_2$ $ C_3$ $ C_4$
$ s_1$ 000 0 00 0
$ s_2$ 001 110 100 110
$ s_3$ 010 11110 1101 1110
$ s_4$ 011 10 01 10
$ s_5$ 100 1110 110 1111

　情報源$ S$の生起確率を

$\displaystyle S = \left\{ \begin{array}{ccccc} s_1, & s_2, & s_3, & s_4, & s_5 \\ 1/3, & 1/6, & 1/10, & 4/15, & 2/15 \end{array} \right\} $

として、符号 $ C_1 \sim C_4$について以下の問に答えなさい。

(1) 符号の木を用いて、 $ C_1 \sim C_4$のうち瞬時符号であるものをすべてあげなさい。

(2) (1)で求めた瞬時符号すべての効率を求め、最も効率の良いものを示しなさい。

　ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算しなさい。

問 4. 下図のような2元対称通信路の通信路容量を求めなさい。 ただし、 $ \log_2 3 = 1.58$、 $ \log_2 5 = 2.32$、 $ \log_2 7 = 2.81$、 $ \log_2 11 = 3.46$として計算しなさい。


\begin{picture}(61,40) \put( 2, 25){ \makebox(15,10){$x_1$} } \put( 2, 5){ \ma... ... 11){ \makebox(10,10){1/5} } \put( 15, 1){ \makebox(30,10){4/5} } \end{picture}


問 5. ある大学では $ a$、$ b$、$ c$ 3種類のネットワーク機器を、 それぞれ $ P(a)=0.60$、$ P(b)=0.10$、$ P(c)=0.30$ の割合で購入している。 また $ a$、$ b$、$ c$ で障害が発生する確率は、 それぞれ $ P($障$ \vert a)=0.010$、 $ P($障$ \vert b)=0.005$、 $ P($障$ \vert c)=0.020$ であることがわかっている。 このとき、次の問に答えなさい。

(1) この大学のネットワーク機器で障害が発生する確率 $ P($障$ )$ を求めなさい。

(2) ネットワーク機器で障害が発生したときに、その原因が $ c$ によるものである確率 $ P(c\vert$障$ )$ を求めなさい。