内容紹介
全国の多くの大学のカリキュラムやシラバスに合った、「情報(・符号)理論」の新たな定番テキスト
電気・電子・通信系の大学学部向け2単位用のテキストシリーズの一巻。
本書は、情報通信系学科の専門課目である「情報(・符号)理論」の講義用教科書。情報の数量的な定義や符号化とその限界を解説して、情報量、エントロピー、マルコフ情報源、通信路容量などの重要な概念について理解できるようわかりやすく解説するものです。全体は1コマの講義の回数に合った15章構成をとっており、各章末とも理解度をチェックする演習問題を配しています。
このような方におすすめ
電気・電子・通信系学科に所属する大学学部2、3年生
目次
主要目次
1章 情報理論の概要
2章 事象の情報量
3章 1個の確率変数のエントロピー
4章 2個の確率変数のエントロピー
5章 相互情報量およびn個の確率変数のエントロピー
6章 情報源と符号化
7章 平均符号語長の下界
8章 理想符号語長とエントロピー
9章 情報源符号化定理
10章 マルコフ情報源
11章 通信路と符号化
12章 線形符号
13章 線形符号の具体例
14章 通信路容量と通信路符号化定理
15章 情報理論の発展と応用
演習問題略解
参考文献
索引
詳細目次
1章 情報理論の概要
1.1 情報理論とは
1.2 情報を効率よく伝える
1.3 情報を正確に伝える
1.4 通信システムのモデル
1.5 本書の構成について
演習問題
2章 事象の情報量
2.1 事象と確率
2.2 事象の情報量
2.3 事象の情報量が満たす性質
演習問題
3章 1個の確率変数のエントロピー
3.1 確率変数とその確率分布.期待値
3.2 確率変数のエントロピー
3.3 エントロピーの最小値と最大値
演習問題
4章 2個の確率変数のエントロピー
4.1 同時エントロピー
4.2 条件付きエントロピー
4.3 エントロピーのチェイン則
演習問題
5章 相互情報量およびn個の確率変数のエントロピー
5.1 確率変数の独立性
5.2 相互情報量とエントロピー
5.3 確率変数のエントロピーとベン図の対応関係
5.4 確率変数(X1,X2,…,Xn)のエントロピー
演習問題
6章 情報源と符号化
6.1 情報の表現と情報源符号化
6.2 情報源とそのエントロピー
6.3 情報源符号化のモデルと目標
6.4 情報源符号化の例(ハフマン符号)
演習問題
7章 平均符号語長の下界
7.1 符号に要求される条件
7.2 符号木と語頭条件
7.3 クラフトの不等式
7.4 平均符号語長の下界とエントロピー
演習問題
8章 理想符号語長とエントロピー
8.1 理想符号語長と記号の情報量
8.2 2進数の復習
8.3 シャノン.ファノ符号
8.4 クラフトの不等式を満たす符号の構成
8.5 語頭符号で達成できる平均符号語長
演習問題
9章 情報源符号化定理
9.1 複数の記号を単位とした符号化
9.2 拡大情報源
9.3 情報源符号化定理
9.4 より実用的な情報源符号化法
演習問題
10章 マルコフ情報源
10.1 情報源の性質
10.2 マルコフ情報源
10.3 正規マルコフ情報源の定常分布
10.4 情報源の拡大とエントロピーの変化
10.5 情報源の記憶とエントロピー
演習問題
11章 通信路と符号化
11.1 通信路のモデル
11.2 誤り訂正と誤り検出
11.3 通信路符号化とその性能
11.4 誤り訂正符号の能力と復号法
演習問題
12章 線形符号
12.1 有限体上のベクトル空間と線形写像
12.2 線形符号
12.3 双対符号
12.4 線形符号の生成行列と検査行列
12.5 線形符号の復号法
演習問題
13章 線形符号の具体例
13.1 線形符号の最小距離
13.2 繰返し符号
13.3 単一パリティ検査符号
13.4 ハミング符号
13.5 リード.マラー符号
13.6 低密度パリティ検査符号
演習問題
14章 通信路容量と通信路符号化定理
14.1 通信路符号化定理とは
14.2 通信路容量
14.3 簡単な通信路の通信路容量
14.4 通信路符号化定理
14.5 具体的な符号の構成
演習問題
15章 情報理論の発展と応用
15.1 誤り訂正符号の歴史
15.2 多ユーザが混在する通信と情報理論
15.3 ネットワーク符号化
15.4 情報理論と暗号
15.5 情報理論の可能性
演習問題
演習問題解答
参考文献
索引
続きを見る