情報理論基礎（2023年度） 試験問題

高知工科大学 情報学群

2023年 5月29日

試験の注意

• 不明な点がある場合は、手をあげて申し出てください。
• 解答は指定の解答用紙の解答欄に記入してください。
  なお、解答用紙には答えのみではなく答えに至る過程を必ず記してください。 過程まで正しく記述されているものに限り採点の対象とします。
• この試験問題には、付録として「標準正規分布表」を載せています。 適宜利用してください。
• 遅刻は 刻 まで認めます。 刻 以降は退出を認めます（退出後の再入室は認めません）。
• 受験の際は、机上の見やすい場所に「学生証」を置いてください。
• 「学生証」を忘れた者は、教務課で仮学生証の交付を受けてください。
• 教員が指示したもの以外は、机の上に置いてはいけません（試験に不要なものは、カバン等に入れて床に置くこと）。
• 込可のみ持ち込みを認めます。
  込不可は認めません。
• 不正（持ち込み制限違反、発声、のぞき見、物品授受、他者との情報のやり取り（カンニング行為）、その他、試験に際しての不適切な行為）は厳重に処分します。
• 不正行為を行った場合は、講クォータクォータおよび講学期学期に履修したすべての授業科目の単位の認定が取り消されます。

問1. 確率変数$A$が標準正規分布$N(0,1)$に従うとき、 $A = \displaystyle\frac{B - 4}{4}$を満たす確率変数$B$について、以下に答えなさい。

(1)	$B$の期待値$E[B]$を求めなさい。
(2)	$B$の分散$V[B]$を求めなさい。
(3)	$\{ -4 \leqq B \leqq 4 \}$となる確率 $P( -4 \leqq B \leqq 4 )$を求めなさい。

問2. $4 M^2$個の記号からなる情報源$S$のエントロピー（平均情報量）について、以下に答えなさい。

(1)	情報源$S$のエントロピー（平均情報量）$H(S)$がどのように表されるかを説明しなさい。
(2)	情報源$S$のエントロピー（平均情報量）$H(S)$の最大値とその条件を説明しなさい。

問3. 確率変数 $C$、$D$

$$C = \left\{ \begin{array}{cc} c_1 , & c_2 \\ 1/4 , & 3/4 \end{array} \right\}$$

$$D = \left\{ \begin{array}{cc} d_1 , & d_2 \\ p_d , & 1 - p_d \end{array} \right\}$$

に対して、 条件付き確率 $P(d_j\vert c_i)$（$i=1,2$, $j=1,2$）がそれぞれ

$$\left\{ \begin{array}{l} P(d_1\vert c_1) = 1/3 \\ P(d_2\vert ... .../3 \\ P(d_1\vert c_2) = 2/3 \\ P(d_2\vert c_2) = 1/3 \end{array} \right.$$

と与えられたとき、以下に答えなさい。

(1)	$d_1$ の生起確率 $P(d_1) = p_d$ を求めなさい。
(2)	条件付き確率 $P(c_1\vert d_1)$、 $P(c_2\vert d_2)$ を求めなさい。

問4. 問3. で与えられた確率変数 $C$、$D$ に対して、 相互エントロピー（相互情報量）$I(D;C)$ を求めなさい。

ただし、小数値として近似（計算）せずに （$\nu_i$を整数、$\delta_i$を正整数（自然数）、$\iota_i$を素数として、分数は約分すること、 $i=0,1,2,\cdots$）

$$\frac{\nu_0}{\delta_0} + \frac{\nu_1}{\delta_1} \log_2 \iota_1 + \frac{\nu_2}{\delta_2} \log_2 \iota_2 + \cdots$$

のように解答しなさい。

問 5. 下図に示す通信路について、以下に答えなさい。

(1)	この通信路の通信路行列を求めなさい。
(2)	この通信路の送信側の通報の組（情報源）$X$を $$X = \left\{ \begin{array}{cccc} x_1, & x_2, & x_3, & x_4\\ r_1, & r_2, & r_3, & r_4 \end{array} \right\}$$ としたときの、この通信路の 伝送情報量を求めなさい。
(3)	この通信路の通信路容量を求めなさい。

付録 標準正規分布表
$I(z) = \displaystyle\frac{ 1 }{ \sqrt{2 \pi} } \displaystyle\int_{0}^{z} e^{ - \displaystyle\frac{ x^2 }{ 2 } } dx$

$z$	0.00	0.01	0.02	0.03	0.04	0.05	0.06	0.07	0.08	0.09
0.0	0.00000	0.00399	0.00798	0.01197	0.01595	0.01994	0.02392	0.02790	0.03188	0.03586
0.1	0.03983	0.04380	0.04776	0.05176	0.05567	0.05962	0.06356	0.06749	0.07142	0.07535
0.2	0.07926	0.08312	0.08706	0.09095	0.09483	0.09871	0.10257	0.10642	0.11026	0.11409
0.3	0.11871	0.12172	0.12552	0.12930	0.13307	0.13683	0.14058	0.14431	0.14803	0.15173
0.4	0.15542	0.15910	0.16276	0.16640	0.17003	0.17364	0.17724	0.18082	0.18439	0.18793
0.5	0.19146	0.19497	0.19847	0.20194	0.20540	0.20844	0.21226	0.21566	0.21904	0.22240
0.6	0.22575	0.22907	0.23237	0.23565	0.23891	0.24215	0.24537	0.24857	0.25175	0.25490
0.7	0.25804	0.26115	0.26424	0.26730	0.27035	0.27337	0.27637	0.27935	0.28230	0.28524
0.8	0.28814	0.29103	0.29389	0.29637	0.29955	0.30234	0.30511	0.30785	0.31057	0.31327
0.9	0.31594	0.31859	0.32121	0.32381	0.32639	0.32894	0.33147	0.33398	0.33646	0.33891
1.0	0.34134	0.34375	0.34614	0.34850	0.35083	0.35314	0.35543	0.35769	0.35993	0.36214
1.1	0.36433	0.36650	0.36864	0.37076	0.37286	0.37493	0.37698	0.37900	0.38100	0.38298
1.2	0.38493	0.38686	0.38877	0.39065	0.39251	0.39435	0.39617	0.39796	0.39973	0.40147
1.3	0.40320	0.40490	0.40658	0.40824	0.40988	0.41149	0.41309	0.41466	0.41621	0.41774
1.4	0.41924	0.42073	0.42220	0.42364	0.42507	0.42647	0.42786	0.42922	0.43056	0.43189
1.5	0.43319	0.43448	0.43574	0.43699	0.43822	0.43943	0.44062	0.44179	0.44295	0.44408
1.6	0.44520	0.44630	0.44738	0.44845	0.44950	0.45093	0.45154	0.45254	0.45352	0.45449
1.7	0.45543	0.45630	0.45728	0.45818	0.45907	0.45994	0.46080	0.46164	0.46246	0.46327
1.8	0.46407	0.46485	0.46562	0.46638	0.46712	0.46784	0.46856	0.46926	0.46995	0.47062
1.9	0.47128	0.47193	0.47257	0.47320	0.47381	0.47441	0.47500	0.47558	0.47615	0.47670
2.0	0.47725	0.47778	0.47831	0.47882	0.47932	0.47982	0.48030	0.48077	0.48124	0.48169
2.1	0.48214	0.48257	0.48300	0.48341	0.48382	0.48422	0.48461	0.48500	0.48537	0.48574
2.2	0.48610	0.48645	0.48679	0.48713	0.48745	0.48778	0.48809	0.48840	0.48870	0.48899
2.3	0.48928	0.48956	0.48983	0.49010	0.49036	0.49061	0.49086	0.49111	0.49134	0.49158
2.4	0.49180	0.49202	0.49224	0.49245	0.49266	0.49286	0.49305	0.49324	0.49343	0.49361
2.5	0.49379	0.49396	0.49413	0.49430	0.49446	0.49461	0.49477	0.49492	0.49506	0.49520
2.6	0.49534	0.49547	0.49560	0.49573	0.49585	0.49598	0.49609	0.49621	0.49632	0.49643
2.7	0.49653	0.49664	0.49674	0.49683	0.49693	0.49702	0.49711	0.49720	0.49728	0.49736
2.8	0.49744	0.49752	0.49760	0.49767	0.49774	0.49781	0.49788	0.49795	0.49801	0.49807
2.9	0.49813	0.49819	0.49825	0.49831	0.49836	0.49841	0.49846	0.49851	0.49856	0.49861
3.0	0.49865	0.49869	0.49874	0.49878	0.49882	0.49886	0.49889	0.49893	0.49897	0.49900
3.1	0.49903	0.49906	0.49910	0.49913	0.49916	0.49918	0.49921	0.49924	0.49926	0.49929
3.2	0.49931	0.49934	0.49936	0.49938	0.49940	0.49942	0.49944	0.49946	0.49948	0.49950
3.3	0.49952	0.49953	0.49955	0.49957	0.49958	0.49960	0.49961	0.49962	0.49964	0.49965
3.4	0.49966	0.49968	0.49969	0.49970	0.49971	0.49972	0.49973	0.49974	0.49975	0.49976
3.5	0.49977	0.49978	0.49978	0.49979	0.49980	0.49981	0.49981	0.49982	0.49983	0.49983
3.6	0.49984	0.49985	0.49985	0.49986	0.49986	0.49987	0.49987	0.49988	0.49988	0.49989
3.7	0.49989	0.49990	0.49990	0.49990	0.49991	0.49991	0.49992	0.49992	0.49992	0.49992
3.8	0.49993	0.49993	0.49993	0.49994	0.49994	0.49994	0.49994	0.49995	0.49995	0.49995
3.9	0.49995	0.49995	0.49996	0.49996	0.49996	0.49996	0.49996	0.49996	0.49997	0.49997