時間割番号: 0040040201 情報理論基礎 担当教員　福本　昌弘[FUKUMOTO Masahiro] 対象年次　2～ 単位数　2 開講時期　1Q　月1,木1 授業の目的 　通信や情報システムでは、ディジタル信号、アナログ信号など様々な形式の信号が取り扱われており、これらを有益な情報として利用するためには、その信号の性質や振舞をとらえ、数学的に記述することが不可欠である。情報理論は、これらの有効な一助となる。 　この授業は、主に大学共通科目「数学１・２」や情報学群専門基礎科目「通信網概論」、「情報代数」、「離散数学」で修めた知識をもとに、情報通信をはじめとする情報システム全般で必要とされる、確率の数学的な基本と情報理論の基本的な概念を修得し、専門科目での応用のための基礎を築く。 　この授業では、まず確率の公理や条件付き確率などの基本的なことがらを学ぶ。そして、情報量について理解し、シャノンの示した情報量や符号化に関する諸性質など情報理論の基礎を学ぶ。 授業の概要 　まず、情報理論の数学的基礎となる確率論（確率の定義、条件付き確率、確率分布）について学ぶ。 　次に、確率を用いて表されるシャノンの情報量（エントロピー）について学修する。 　さらに、通信における伝送できる情報量の限界（通信路容量）について示した通信路符号化定理を理解する。 　こららについての理解度を確認するために、３回の演習と中間・期末課題を行う。 到達目標 (1) 確率の定義をとらえられ、対象となる事象の確率を求めることができる (2) 情報量やエントロピーを理論的に理解でき、計算によって求めることができる (3) 通信路符号化定理をはじめ、情報通信分野で必要となる情報理論の基礎を理解できる 授業の方法 授業の進め方 　板書と資料を用いて行う。きちんとノートをとり、予習・復習を行うことが理解への第一歩となる。授業の進度に応じて演習を実施し、理解度を確認する。 　今年度のこの授業は対面で実施する。 授業計画 第１回　確率論の応用 　確率論は、誤り訂正など情報・通信分野で広く用いられていることを知り、具体的な例により、その重要性を理解する。 第２回　集合・事象 　確率の概念を理解するために必要となる集合について学び、事象に関する定義を整理しておく。 　教科書：1.1.1 試行・事象 第３回　条件付き確率・ベイズの定理 　条件付き確率について理解し、そこからベイズの定理を導く。 　教科書：1.1.2 確率、1.1.3 条件付き確率、1.1.4 ベイズの定理 第４回　確率変数 　確率的な現象を理解するための準備として確率変数について学ぶ。 　教科書：1.1.5 確率変数 第５回　ベルヌーイ試行 　事象として成功と失敗しかとらないような独立な試行を繰り返した場合（ベルヌーイ試行）の確率について理解し、最も基本的な確率分布である２項分布に触れる。 また、２項分布を連続に近似することにより得られる正規分布について学ぶ。 第６回　期待値・分散 　確率分布の性質を知るための量としての期待値、分散、標準偏差について学ぶ。 　教科書：1.1.7 期待値と分散 第７回　標準正規分布・確率変数の標準化 　正規分布に従う確率変数のとる確率を求めるために、標準正規分布表と確率変数の標準化について学ぶ。 　教科書：1.1.7 期待値と分散 第８回　演習１（オンデマンド） 　確率に関する演習を行う。自宅学修とオンデマンド配信される解説により理解を深める。 【中間課題（確率） 】（オンデマンド） 　確率について学修した内容を理解できているか確認するための課題をKUTLMS(moodle)により実施する（全問正解するまで繰り返して理解すること）。 第９回　情報理論 　エントロピーと情報理論における情報量の定義を理解する。 　教科書：1.2.1 自己エントロピー 第10回　相互情報量 　結合エントロピーと条件つきエントロピーについて学び、相互情報量を理解する。 　教科書：1.2.2 結合エントロピー、1.2.3 条件付きエントロピー、1.2.4 相互エントロピー 第11回　演習２（オンデマンド） 　エントロピーと情報量に関する演習を行う。自宅学修とオンデマンド配信される解説により理解を深める。 第12回　シャノンの通信系モデル 　雑音のある通信系モデルとその性質を理解する。 　教科書：4.1 通信系モデル 第13回　通信路容量 　相互情報量を用いて通信路容量を求める。 　教科書：4.2 通信路容量 第14回　通信路符号化 　通信路符号化の基本について理解し、雑音のある通信路での伝送速度に関して学ぶ。 　教科書：4.3 通信路符号化、4.4 シャノンの第2基本定理（通信路符号化定理） 第15回　情報源符号化 　情報源モデルに基づき、符号の冗長度と効率、利用可能な符号のモデルについて理解する。 　教科書：3.1 符号化、3.2 一意復号可能性と瞬時符号 第16回　符号理論 　情報を正しく伝えるための仕組みである誤り検出、誤り訂正の概念について触れる。 第17回　演習３（オンデマンド） 　通信路符号化に関する演習を行う。自宅学修とオンデマンド配信される解説により理解を深める。 【期末課題（情報量・通信路符号化） 】オンデマンド） 　情報量・通信路符号化について学修した内容を理解できているか確認するための課題をKUTLMS(moodle)により実施する（全問正解するまで繰り返して理解すること）。 第18回　習熟度確認（試験） 　確率と情報理論に関する総合的な課題により習熟度を確認し、修得状況の評価を行う。 第19回　まとめ 　総合的な課題の結果を確認した後、解答例を参考にしながらこの授業で学修したことを振り返る。 成績評価の方法・基準 総合的な課題（試験）で達成度の評価を行う。なお、試験を受験するためには中間課題、期末課題を全問正解していることを前提とする。 AA：課題の全ての問題を理解した上で正確に解ける A：課題の全ての問題の基本的な解き方について記述でき、８割に相当する基礎的な問題をすべて解ける B：課題の８割に相当する基礎的な問題すべての基本的な解き方について記述でき、このうち半数以上の問題を解ける C：課題の８割に相当する基礎的な問題の３／４以上について基本的な解き方を記述でき、このうち一部の問題を解ける F：Cに達しないもの 授業時間外学習（予習・復習等） ・授業の準備として、授業計画に示す教科書の範囲を読んでから出席すること。 ・授業後にはノートを整理して授業内容を復習するとともに、該当する範囲の教科書の例、例題、章末問題を解いて理解を深めること。 ・KUTLMSで提示している課題を理解できるまで解くこと。 キーワード 確率、条件付き確率、確率分布、エントロピー、通信路容量、通信路符号化定理、情報源符号化定理 他の科目との関連 ・情報学群 『履修登録必須科目』（専門基礎科目） ・事前の履修が望ましい科目＝「数学１・２」（「微分積分学１・２」）,「情報代数」、「情報システム概論」,「サイバーリアリティ概論」 ・履修前提科目＝「離散数学」 備考 履修上の注意： ・遅刻しての出席は、特別な事情が認められる場合以外は原則認められない。 ・私語や授業に関係ない行動など授業を妨害する行為に対しては、退室を命じるなど厳正に対処する。 ・授業時間外や授業終了後の口頭での質問は、公平性の観点から原則受け付けない。 　授業に関する質問は、授業時間中での（挙手による）発言か、「質問箱」への投稿に対して、授業の出席者、もしくは履修登録者のほぼ全員に同時に回答できる場合のみ対応する。 　ただし、試験の直前の授業終了後から試験までの期間は原則質問を受け付けない。 ・クラブ・サークル等の活動での欠席については、オリンピック、ワールドカップなどの国際的な大会以外では特に配慮しない。ただし試験の欠席については、事前に欠席届とは別に相談があれば考慮する場合がある。 ・この授業のより詳細な情報は 　http://www.info.kochi-tech.ac.jp/mfukumot/Lecture/IT/index.html 　に掲載する。 ・オフィスアワー： 毎週月曜日 第５時限 A418教員室／A357研究室 教科書 教科書1 ISBN 9784339024210 書名 C言語による 情報理論入門 著者名 久保田一, 大石邦夫, 福本昌弘 共著 出版社 コロナ社 出版年 参考書 参考書1 ISBN 9784061538177 書名 イラストで学ぶ　情報理論の考え方 著者名 植松友彦 出版社 講談社 出版年 参考書2 ISBN 4274131386 書名 わかりやすいディジタル情報理論 著者名 塩野充 出版社 オーム社 出版年 参考書3 ISBN 9784781911762 書名 情報・符号・暗号の理論入門 著者名 守屋悦朗 出版社 サイエンス社 出版年 参考書4 ISBN 433901835X 書名 情報・符号・暗号の理論 著者名 今井秀樹,電子情報通信学会 出版社 コロナ社 出版年