科 目 名      情報理論基礎    
担当教員      福本　昌弘
対象学年      2年
教　　室      A107
曜日・時限    月・木 第１時限（専門科目演習：月・木 第５時限）
単 位 数      2   


授業の目的
　通信や情報システムでは、ディジタル信号、アナログ信号など様々な形式の信号が取り扱われており、これらを有益な情報として利用するためには、その信号の性質や振舞をとらえ、数学的に記述することが不可欠である。情報理論は、これらの有効な一助となる。
　この授業は、主に大学共通科目「数学１・２」や情報学群専門基礎科目「通信網概論」、「情報代数」、「離散数学」で修めた知識をもとに、情報通信をはじめとする情報システム全般で必要とされる、確率の数学的な基本と情報理論の基本的な概念を修得し、専門科目での応用のための基礎を築く。
　この授業では、まず確率の公理や条件付き確率などの基本的なことがらを学ぶ。そして、情報量について理解し、シャノンの示した情報量や符号化に関する諸性質など情報理論の基礎を学ぶ。

キーワード
　確率、条件付き確率、エントロピー、通信路容量、通信路符号化定理、情報源符号化定理
   
授業の進め方
　板書と資料を用いて行なう。きちんとノートをとり、予習・復習を行うことが理解への第一歩となる。授業の進度に応じて演習を実施し、理解度を確認する。

達成目標
(1) 確率の定義をとらえられる。
(2) 情報量やエントロピーを理論的に理解できる。
(3) 通信路符号化定理をはじめ、情報通信分野で必要となる情報理論の基礎を身につける。
   
授業計画
１. 確率論の応用
　　確率論は、誤り訂正など情報・通信分野で広く用いられていることを知り、具体的な例により、その重要性を理解する。
２. 集合・事象
　　確率の概念を理解するために必要となる集合について学び、事象に関する定義を整理しておく。
　　教科書：1.1.1 試行・事象
３. 条件付き確率・ベイズの定理
　　条件付き確率について理解し、そこからベイズの定理を導く。
　　教科書：1.1.2 確率、1.1.3 条件付き確率、1.1.4 ベイズの定理
４. 確率変数
　　確率的な現象を理解するための準備として確率変数について学ぶ。
　　教科書：1.1.5 確率変数
５. ベルヌーイ試行
　　事象として成功と失敗しかとらないような独立な試行を繰り返した場合（ベルヌーイ試行）の確率について理解し、最も基本的な確率分布である２項分布に触れる。また、２項分布を連続に近似することにより得られる正規分布について学ぶ。
　　教科書：1.1.6 ベルヌーイ試行
６. 期待値・分散
　　確率分布の性質を知るための量としての期待値、分散、標準偏差について学ぶ。
　　教科書：1.1.7 期待値と分散
７. ［演習１］確率に関する演習を行う。
８. 情報理論
　　エントロピーと情報理論における情報量の定義を理解する。
　　教科書：1.2.1 自己エントロピー
９. 相互情報量
　　結合エントロピーと条件つきエントロピーについて学び、相互情報量をについて理解する。
　　教科書：1.2.2 結合エントロピー、1.2.3 条件付きエントロピー、1.2.4 相互エントロピー
10. ［演習２］エントロピーと情報量に関する演習を行う。
11. シャノンの通信路モデル
　　雑音のある通信路モデルとその性質を理解する。
　　教科書：4.1 通信路モデル
12. 通信路容量
　　相互情報量を用いて通信路容量を求める。
　　教科書：4.2 通信路容量
13. 通信路符号化
　　通信路符号化の基本について理解し、雑音のある通信路での伝送速度に関して学ぶ。
　　教科書：4.3 通信路符号化、4.4 シャノンの第2基本定理（通信路符号化定理）
14. 情報源符号化
　　情報源モデルに基づき、符号の冗長度と効率、利用可能な符号のモデルについて理解する。
　　教科書：3.1 符号化、3.2 一意復号可能性と瞬時符号
15. 符号理論
　　情報を正しく伝えるための仕組みである誤り検出、誤り訂正の概念について触れる。
16. ［演習３］通信路符号化に関する演習を行う。
17. 習熟度確認
　　確率と情報理論に関する総合的な課題により習熟度を確認し、修得状況の評価を行う。
18. まとめ
　　総合的な課題の結果を確認した後、解答例を参考にしながら本授業で学習したことを振り返る。 

成績評価：
　総合的な課題で達成度の評価を行う。
　●AA：課題の全ての問題を理解した上で正確に解ける
　● A：課題の全ての問題の基本的な解き方について記述でき、８割以上の問題を解ける
　● B：課題の８割以上の問題の基本的な解き方について記述でき、４割以上の問題を解ける
　● C：課題の６割以上の問題の基本的な解き方を記述できる

教科書：
「C言語による情報理論入門」, 久保田一, 大石邦夫, 福本昌弘 著（コロナ社, 2007.5）
　ISBN978-4-339-02421-0

参考書：
「イラストで学ぶ情報理論の考え方」, 植松友彦 著（講談社, 2012）
　ISBN978-4-06-153817-7
「わかりやすいディジタル情報理論」, 塩野充 著（オーム社, 1998）
　ISBN4-274-13138-6
「情報・符号・暗号の理論入門」, 守屋悦朗 著（サイエンス社, 2007）
　ISBN978-4-7819-1176-2
「電子情報通信レクチャーシリーズC-1 情報・符号・暗号の理論」, 電子情報通信学会 編, 今井秀樹 著（コロナ社, 2004）
　ISBN4-339-01835-X

授業外学修（予習・復習）：
・授業の準備として、授業計画に示す教科書の範囲を読んでから出席すること。
・授業後にはノートを整理して授業内容を復習するとともに、該当する範囲の教科書の例、例題、章末問題を解いて理解を深めること。

履修上の注意：
・情報学群 『履修登録必須科目』（専門基礎科目）
・事前の履修が望ましい科目＝「数学１・２」,「情報代数」
・履修前提科目＝「通信網概論」,「離散数学」
・クラブ・サークル等の活動での欠席については、オリンピック、ワールドカップなどの国際的な大会以外では特に配慮しない。ただし試験の欠席については、事前に欠席届とは別に相談があれば考慮する場合がある。

・この授業のより詳細な情報は
　http://www.info.kochi-tech.ac.jp/mfukumot/Lecture/IT/index.html
　に掲載する。

・オフィスアワー： 毎週火曜日 第５時限（16:20〜） A418教員室／A357研究室