本书系统深入地论述信息论和编码的基本原理和方法，内容包括：信息的度量、离散信源与连续信源、离散信道与连续信道、无失真信源编码、信息率失真理论、香农信道编码定理、近世代数基础、线性分组码，循环码、卷积码等。本书将严密的数学推导、清晰的物理解释与丰富的举例相结合，将经典理论的介绍和信息论的最新研究成果相结合。
样章试读
目录
- 目录
第1章 绪论 1
1.1 信息的基本概念 2
1.2 信息论研究的对象与目的 4
1.2.1 信息论研究的对象 4
1.2.2 信息论研究的目的 6
1.3 信息论研究的内容 7
1.4 信息论与编码的发展简史 8
第2章 信息的度量 11
2.1 自信息和互信息 12
2.1.1 自信息 12
2.1.2 互信息 15
2.2 平均自信息 18
2.2.1 平均自信息的概念 18
2.2.2 平均自信息的性质 23
2.3 平均互信息 28
2.3.1 平均互信息的概念 28
2.3.2 平均互信息的性质 32
习题 38
第3章 信源及信源熵 43
3.1 信源的分类与建模 44
3.2 离散信源的数学模型 44
3.2.1 单符号离散信源 44
3.2.2 多符号离散信源 45
3.3 离散平稳信源 47
3.3.1 离散平稳信源的数学模型 47
3.3.2 二维平稳信源的信息熵 48
3.3.3 离散平稳信源的极限熵 51
3.4 马尔可夫信源 54
3.4.1 有限状态马尔可夫信源 55
3.4.2 马尔可夫信源的极限熵 57
3.5 信源携带信息的效率 58
3.6 连续信源 60
3.6.1 连续信源的微分熵 61
3.6.2 特殊连续信源的微分熵 63
3.7 连续信源微分熵的性质 65
3.7.1 微分熵的性质 65
3.7.2 具有最大微分熵的连续信源 66
3.7.3 熵功率69
习题 70
第4章 信道及信道容量 75
4.1 信道的分类及数学模型 76
4.1.1 信道的分类 76
4.1.2 信道的数学模型 77
4.2 离散信道及信道容量 78
4.2.1 离散无记忆信道 78
4.2.2 信道容量的定义 79
4.2.3 离散无噪无损信道的信道容量 81
4.2.4 离散对称信道的信道容量 82
4.2.5 准对称信道的信道容量 85
4.2.6 一般离散信道的信道容量 86
4.3 组合信道及信道容量 91
4.3.1 N次扩展信道 91
4.3.2 独立并联信道 93
4.3.3 级联信道 94
4.4 连续信道的分类及数学模型 95
4.5 连续信道的信道容量 97
4.5.1 加性噪声信道的信道容量 97
4.5.2 高斯加性信道的信道容量 98
4.5.3 非高斯加性信道的信道容量 98
4.6 波形信道的信道容量 100
4.6.1 随机信号的正交展开 100
4.6.2 高斯白噪声加性信道 100
4.6.3 限带高斯加性信道性能极限 102
习题 104
第5章 无失真信源编码 109
5.1 信源编码的概念 110
5.1.1 编码器 110
5.1.2 码的分类 111
5.1.3 码树 113
5.2 定长编码及定长编码定理 113
5.3 变长编码 118
5.3.1 唯一可译变长码与前缀码 118
5.3.2 克拉夫特不等式 120
5.4 变长无失真编码定理 124
5.4.1 变长编码的平均码长 124
5.4.2 香农第一定理 128
5.5 变长信源编码方法 131
5.5.1 香农编码 131
5.5.2 霍夫曼编码 133
5.5.3 费诺编码 138
习题 139
第6章 限失真信源编码 143
6.1 信息失真度量 144
6.1.1 失真函数 144
6.1.2 平均失真度 146
6.2 信息率失真函数 147
6.2.1 信息率失真函数的定义 147
6.2.2 信息率失真函数的性质 148
6.2.3 信息率失真函数的计算 151
6.3 限失真信源编码定理 154
习题 156
第7章 信道编码概述 159
7.1 数字通信系统模型 160
7.2 信道编码的概念 161
7.2.1 错误概率与译码准则 162
7.2.2 错误概率与编码方法 166
7.2.3 汉明距离与码的纠检错能力 171
7.3 信道编码的基本原理 174
7.3.1 有噪信道编码定理 174
7.3.2 有限块长编码界 176
7.3.3 差错控制的途径 178
7.4 编码性能和编码增益 179
7.5 差错控制方式 181
习题 182
第8章 近世代数基础 183
8.1 群、环、域 184
8.1.1 群 184
8.1.2 环 185
8.1.3 域 186
8.2 有限域与扩域构造 188
8.2.1 多项式域 188
8.2.2 有限域的运算法则 191
8.2.3 多项域分解 194
8.3 向量空间197
习题 199
第9章 线性分组码 201
9.1 线性分组码的基本概念 202
9.2 生成矩阵 202
9.3 系统码 204
9.4 伴随式与错误图样 205
9.5 标准阵列译码 206
9.6 码的纠、检错能力与MDC码 210
9.7 完备码与汉明码 212
9.7.1 完备码 212
9.7.2 汉明码 213
9.7.3 戈莱码 215
9.8 扩展码与缩短码 215
9.8.1 扩展码 215
9.8.2 缩短码 216
习题 218
第10章 循环码 221
10.1 循环码的描述 222
10.1.1 循环码的多项式描述 222
10.1.2 循环码的矩阵描述 224
10.2 循环冗余校验码 226
10.3 根定义循环码 227
10.4 BCH码和RS码的构造 230
10.4.1 BCH码的构造 231
10.4.2 RS码的构造 232
10.5 BCH码和RS码的译码 234
10.5.1 BCH码的译码 234
10.5.2 RS码的译码 236
习题 241
第11章 卷积码 243
11.1 卷积码的基本概念 244
11.2 卷积码的编码结构 244
11.2.1 卷积码的多项式表示 245
11.2.2 卷积码的状态图 246
11.2.3 卷积码的网格图 248
11.3 卷积码的特性 249
11.3.1 码率 249
11.3.2 编码结尾方式 249
11.3.3 距离特性 252
11.3.4 错误概率 257
11.4 卷积码的译码 258
11.4.1 卷积码的最大似然译码 258
11.4.2 维特比译码算法259 习题 262
参考文献 264
附录数学预备知识 265
附录A 凸函数及詹森不等式 266
附录B 渐进等同分割性和ε典型序列 268
京公网安备 11010102004214号