時間割番号: 1150012001 映像音響メディア 担当教員 福本　昌弘[FUKUMOTO Masahiro] 対象年次 2～ 単位数 2 開講時期 4Q 開講曜時 月3,木3 授業の目的 　現在の情報メディアの中心的な存在となっている映像・音響の振る舞いや信号の表現方法、扱い方を知ることは重要であり、それを理解し、扱うことを習得する。 　まず、映像と音声についての性質と情報源符号化について触れる。つぎに、JPEGやMPEGなどに代表される種々の符号化法とその特徴を学ぶ。また、映像・音響信号を有益な情報として活用するために必要な信号処理方式などを修得する。これにより、その他の多様な情報メディアを含めて広く理解したうえで情報を扱うことができる技術を身に付ける。 授業の概要 　まず、「情報理論基礎」で修得した情報源符号化定理などの知識をもとに、コンパクト符号であるハフマン符号について学ぶ。 　次に、直交変換（離散コサイン変換）を用いた静止画像の圧縮符号化方式を理解し、それに動き補償を加えた動画像符号化方式の仕組みを修得する。 　さらに、人間の頂角特性にもとづいて、フィルタバンクや修正離散コサイン変換を用いた音声圧縮符号化について学修する。 　こららについての理解度を確認するために、３回の演習を行う。 到達目標 (1) 情報源符号化を理論的に理解でき、ハフマン符号（コンパクト符号）を求めることができる (2) 静止画像の特徴と視覚特性を利用した色空間変換と直交変換による圧縮符号化について理解し、符号化と復号の処理を行うことができる (3) 動画像の特徴を踏まえた動き補償を理解でき、代表的な符号化法であるMPEGを扱うことができる (4) 音と聴覚の特性に基づいて音響信号を利用することができ、MPEGオーディオなどの圧縮符号化の原理を理解できる 授業の方法 　板書と資料を用いて行う。きちんとノートをとり、予習・復習を行うことが理解への第一歩となる。授業の進度に応じて演習を実施し、理解度を確認する。 授業計画 第１回　映像と音響 　映像や音響を扱うための方法を概観し、この授業で扱う符号化や信号処理の目的を理解する。 第２回　情報源符号化 　情報を伝えるためには何らかのメディアに変換して記録する必要がある。情報理論における情報源符号化により効率的な符号について理解し、情報源符号化のための最も基本的なエントロピー符号化法のひとつであるハフマン符号について学ぶ。 第３回　ディジタル画像符号化 　画像のディジタル表現の方法を理解し、画像圧縮符号化の際の可逆／非可逆符号化と量子化について学ぶ。 第４回　演習 1 　情報源符号化とハフマン符号、ディジタル画像表現に関する演習を行う。 第５回　画素間相関 　画像圧縮のための中心的な部分にあたる画像間相関除去について学び、そのための直交変換の有用性について理解する。 第６回　直交変換 　画素間相関除去の数学的基礎となる1次変換（線形変換）や正規直交基底と直交変換について学び、直交変換を用いた画像圧縮符号化の原理を理解する。 第７回　変換符号化 　画素間相関を除去する直交変換であるカルーネン-レーブ変換(KLT)について理解する。 第８回　画像圧縮符号化アルゴリズム 　画像を少ないデータ量で原画像に忠実に表現するために必要な、画像圧縮符号化アルゴリズムについて概観する。 第９回　離散コサイン変換 　代表的な直交変換である離散コサイン変換を用いた画像符号化方式とその特徴を学ぶ。 第10回　JPEGの特徴 　代表的な画像圧縮符号化方式JPEGの概要について学ぶ。 第11回　演習 2 　画像符号化に関する演習を行う。 第12回　動き補償と動画像符号化 　動画像の特徴に触れた後、動画像圧縮符号化のために広く用いられている動き補償予測法について学び、動き補償予測を応用したMPEG方式など、動画像符号化方式について理解する。 第13回　MPEGの概要と性質 　MPEGに代表される動画像符号化法式の概要について学ぶ。 第14回　聴覚と音響 　まず、人間が音をどのように感じるかについて学ぶ。 　つぎに、音の伝搬と音響に関しての特性に触れる。 第15回　ディジタルオーディオ 　音を再生するために、音のデータの電気信号から振動へと変換する過程を理解し、音の記録と再生について学ぶ。また、音の波形を符号化してディジタル処理する流れを身につける。 第16回　オーディオの圧縮符号化 　MP3(MPEG-1 Audio LayerIII)などの音響メディア信号の符号化方式の原理について学ぶ。 第17回　演習 3 　動画像符号化と音響信号に関する演習を行う。 第18回　習熟度確認（試験） 　情報源符号化と映像・音響に関する総合的な課題（試験）により習熟度を確認し、修得状況の評価を行う。 第19回　まとめ 　総合的な課題（試験）の結果を確認した後、解答例を参考にしながら本講義で学習したことを振り返る。 成績評価の方法・基準 総合的な課題（試験）で達成度の評価を行う。なお、試験を受験するためには演習課題をすべて理解できていることを前提とする。 AA：課題の全ての問題を理解した上で正確に解ける A：課題の全ての問題の基本的な解き方について記述でき、８割に相当する基礎的な問題をすべて解ける B：課題の８割に相当する基礎的な問題すべての基本的な解き方について記述でき、このうち半数以上の問題を解ける C：課題の８割に相当する基礎的な問題の３／４以上について基本的な解き方を記述でき、このうち一部の問題を解ける F：Cに達しないもの 授業時間外学習（予習・復習等） ・授業の準備として、授業計画に示す教科書の範囲や配布された資料について予習してから出席すること。 ・授業後にはノートを整理して授業内容を復習するとともに、該当する範囲の教科書の演習、章末問題を解いて理解を深めること。 ・KUTLMSで提示されている課題を解いて理解しておくこと。 キーワード 情報源符号化、画素間相関、離散コサイン変換(DCT)、動き補償、聴覚特性、修正離散コサイン変換(MDCT) 他の科目との関連 ・情報学群 サイバーリアリティ専攻 専門基礎科目 ・事前の履修が望ましい科目＝「サイバーリアリティ概論」,「情報理論基礎」 ・履修前提科目＝「信号理論基礎」、「画像処理」 備考 履修上の注意： ・遅刻しての出席は、特別な事情が認められる場合以外は原則認められない。 ・私語や授業に関係ない行動など授業を妨害する行為に対しては、退室を命じるなど厳正に対処する。 ・授業時間外や授業終了後の口頭での質問は、公平性の観点から原則受け付けない。 　授業に関する質問は、授業時間中での（挙手による）発言か、「授業に関する質問等の問い合わせ先」への連絡に対して、授業の出席者、もしくは履修登録者のほぼ全員に同時に回答できる場合のみ対応する。 　ただし、試験の直前の授業終了後から試験までの期間は原則質問を受け付けない。 ・クラブ・サークル等の活動での欠席については、オリンピック、ワールドカップなどの国際的な大会以外では特に配慮しない。ただし試験の欠席については、事前に欠席届とは別に相談があれば考慮する場合がある。 ・この授業のより詳細な情報は 　http://www.info.kochi-tech.ac.jp/mfukumot/Lecture/ISM/index.html 　に掲載する。 ・連絡先： fukumoto.masahiro@kochi-tech.ac.jp ・オフィスアワー： 毎週月曜日 第５時限 A418教員室／A357研究室 教科書 教科書1 ISBN 9784789831451 書名 ディジタル音声&画像の圧縮/伸張/加工技術 : 大容量化するマルチメディア・データを転送・保存・活用するために 著者名 尾知, 博,川村, 新, 1971-,黒崎, 正行, 1977-,尾知博 監修,川村新, 黒崎正行 著 出版社 CQ出版 出版年 2013.5 参考書 参考書1 ISBN 9784274205750 書名 映像メディア技術 著者名 八木, 伸行,八木伸行 監修 出版社 オーム社 出版年 2008.7 参考書2 ISBN 9784339012675 書名 画像情報符号化 著者名 貴家, 仁志,吉田, 俊之, 1963-,鈴木, 輝彦, 1966-,広明, 敏彦,映像情報メディア学会,貴家仁志 編著,吉田俊之, 鈴木輝彦, 広明敏彦 共著 出版社 コロナ社 出版年 2008.4 参考書3 ISBN 9784339007756 書名 基礎音響・オーディオ学 著者名 小泉, 宣夫,小泉宣夫 著 出版社 コロナ社 出版年 2005.4 参考書4 ISBN 9784844323914 書名 そこが知りたい最新技術オーディオ・ビデオ圧縮入門 : MPEG-AACとH.264/AVC時代の 著者名 亀山, 渉,金子, 格,渡辺, 裕,亀山渉, 金子格, 渡辺裕著 出版社 インプレスR&D 出版年 2007.4