| 科 目 名 | ： |
情報理論基礎 (Foundations of Information Theory) |
| 開講年次 | ： | ２ （情報学群） |
| 開講期間 | ： | １クォータ （月・木 第１時限, 専門科目演習：月・木 第４時限） |
| 教 室 | ： | K102教室（専門科目演習 C101教室） |
| 単 位 数 | ： | ２ |
| 教 科 書 | ： |
「C言語による情報理論入門」, 久保田一, 大石邦夫, 福本昌弘 著（コロナ社, 2007） |
| 参 考 書 | ： |
「イラストで学ぶ情報理論の考え方」, 植松友彦 著（講談社, 2012） |
| | |
「わかりやすいディジタル情報理論」, 塩野充 著（オーム社, 1998年） |
| | |
「情報理論 情報量～誤り訂正がよくわかる」, 相河聡 著（森北出版, 2018年） |
| | |
「情報理論 改訂２版」, 今井秀樹 著（オーム社, 2019年） |
| | |
「情報・符号・暗号の理論入門」, 守屋悦朗 著（サイエンス社, 2007） |
| | |
「電子情報通信レクチャーシリーズC-1 情報・符号・暗号の理論」, 電子情報通信学会 編, 今井秀樹 著（コロナ社, 2004） |
| 授業予定 | ： | |
| |
| 回数 | 日付 | 時限 |
内 容 |
教 材 (PDF) |
動 画 (MP4) |
備 考 |
| 1 |
4/10 |
1 |
ガイダンス, 確率論の応用 |
ガイダンス ,
確率論の応用 |
|
|
| 2 |
4/14 |
1 |
集合・事象 |
試行・事象，確率 |
|
教科書：1.1.1 試行・事象（例1.1）、教科書：1.1.2 確率（章末問題【1】教科書の誤植）
課題2.集合・事象
|
| 3 |
4/14 |
4 |
条件付き確率・ベイズの定理 |
条件付き確率・ベイズ定理 |
|
教科書：1.1.3 条件付き確率、1.1.4 ベイズの定理（例題1.1, 1.2, 章末問題【2】）
課題3.確率
|
| 4 |
4/17 |
1 |
確率変数 |
確率変数 |
|
教科書：1.1.5 確率変数 |
| 5 |
4/21 |
1 |
ベルヌーイ試行 |
ベルヌーイ試行
2項分布から正規分布の導出 |
|
教科書：1.1.6 ベルヌーイ試行 |
| 6 |
4/24 |
1 |
期待値・分散 |
期待値・分散
2項分布の期待値と分散
正規分布の期待値と分散
標準正規分布表 |
|
教科書：1.1.7 期待値と分散（例1.3）
課題6.期待値・分散
|
| 7 |
4/28 |
1 |
標準正規分布・確率変数の標準化 |
標準正規分布・確率変数の標準化 |
|
|
| e1 |
---- |
-- |
［演習 1.］ |
演習 1. 確率に関する演習 |
1.（10:17，26.5MB），2.（9:23，22.1MB），3.（16:13，42.7MB） |
確率に関する演習 |
| a1 |
---- |
-- |
中間課題（確率） |
中間課題（公開期間： 4月 28日 00:00 から 5月 18日 23:59 まで） |
|
確率について学修した内容を理解できているか確認するための課題（全問正解するまで繰り返して理解すること） |
| 8 |
4/28 |
4 |
情報理論 |
エントロピー（平均情報量） |
|
教科書：1.2.1 自己エントロピー（例1.4） |
| 9 |
5/ 1 |
1 |
相互情報量 |
相互情報量 |
|
教科書：1.2.2 結合エントロピー、1.2.3 条件付きエントロピー、1.2.4 相互エントロピー（例1.5, 1.6, 章末問題【3】）
課題8. 相互情報量 （月曜振替）
|
| e2 |
-- |
-- |
［演習 2.］ |
演習 2. エントロピーと情報量に関する演習 |
1.（6:44，15.6MB），2.（20:23，47.6MB） |
エントロピーと情報量に関する演習 |
| 10 |
5/ 8 |
1 |
シャノンの通信系モデル |
シャノンの通信路モデル |
|
教科書：4.1 通信路モデル |
| 11 |
5/12 |
1 |
通信路容量 |
通信路容量 |
|
教科書：4.2 通信路容量（例4.1, 4.2, 4.3, 章末問題【1】,【2】）
課題10.通信路容量
|
| 12 |
5/15 |
1 |
通信路符号化 |
通信路符号化 |
|
教科書：4.3 通信路符号化、4.4 シャノンの第2基本定理（通信路符号化定理） |
| 13 |
5/15 |
4 |
情報源符号化 |
情報源符号化 |
|
3.2 一意復号可能性と瞬時符号、3.3 情報源符号化定理 |
| 14 |
5/19 |
1 |
符号理論・試験について |
|
|
|
| e3 |
---- |
-- |
［演習 3.］ |
演習 3. 通信路符号化に関する演習 |
1.（21:13，52.7MB），2.（23:52，56.4MB） |
通信路符号化に関する演習 |
| a2 |
---- |
-- |
期末課題（情報量・通信路符号化） |
期末課題（公開期間：5月 19日 00:00 から 5月 28日 23:59 まで） | |
情報量・通信路符号化について学修した内容を理解できているか確認するための課題（全問正解するまで繰り返して理解すること） |
| -- |
5/22 |
1 |
（予備） |
|
|
|
| -- |
5/26 |
1 |
（予備） |
|
|
|
| 15 |
5/29 |
1 |
試験（総合的な課題） |
| |
持込可：自筆ノート,指定教科書,（関数）電卓,計算用紙,筆記用具等 |
| 16 |
6/ 2 |
1 |
まとめ |
|
|
|
| -- |
6/ 5 |
1 |
（予備） |
|
|
|
|