随着卫星遥感、无人机、物联网等技术的发展,地球时空大数据不断累积,如何从地球大数据中高效挖掘知识、模式及规则,成为地球系统科学研究的难点及重点。常规统计及机器学习方法存在诸多局限,本书将深度学习纳入地学系统科学问题框架,从地球及遥感科学的背景及视角系统阐述深度学习的基本原理,并提供了典型的应用实例。通过阅读本书,期待读者在面对影响因素繁杂的地学领域的过程演化、地表参数反演、地物对象识别等实际问题时,能够化繁为简,找到合适的原理及解决方法。
全书共分三部分,即基础篇、方法篇及遥感地学分析篇:基础篇是机器学习及深度学习的基础;方法篇则系统描述了深度学习的方法及特点;遥感地学分析篇概括了深度学习在遥感地学分析系统的建模架构与典型的应用。
样章试读
目录
- 目录
前言
基础篇
第1章 概率论 3
1.1 概率的本质 3
1.2 典型概率分布 6
1.2.1 伯努利分布 6
1.2.2 二项分布 7
1.2.3 贝塔分布 7
1.2.4 多项分布 8
1.2.5 狄利克雷分布 9
1.2.6 高斯分布 10
1.2.7 学生t分布 13
1.2.8 指数及拉普拉斯分布 14
1.3 随机变量的数字特征及信息测度 15
1.4 指数族分布函数 17
1.5 混合分布 18
1.6 小结 19
参考文献 20
第2章 线性代数 21
2.1 基本数据类型 21
2.2 基本运算 22
2.3 求导运算 24
2.4 特征值提取及主成分分析 27
2.5 奇异值分解 31
2.6 小结 33
参考文献 34
第3章 MCMC随涵拟 35
3.1 问题的提出 35
3.2 蒙特卡罗方法 36
3.2.1 方法基础 36
3.2.2 拒绝性抽样 37
3.2.3 重要性抽样 38
3.3 MCMC方法 39
3.4 M-H采样 40
3.5 Gibbs采样 42
3.6 应用实例 44
3.6.1 模拟Beta分布的概率分布 44
3.6.2 采用Gibbs抽样模拟二维正态分布 45
3.6.3 模拟退火求极值问题 45
3.7 小结 46
参考文献 46
第4章 变分优化法 48
4.1 问题的提出 48
4.2 泛函 49
4.3 变分法 50
4.4 EM算法 53
4.5 最大熵变分方法 55
4.6 求后验分布的变分推断 57
4.7 小结 60
参考文献 61
第5章 懸学习基础 62
5.1 学习目标 62
5.2 评价标准 64
5.2.1 基于概率的评价标准 64
5.2.2 基于损失函数的评价标准 65
5.2.3 基于信息论的评价标准 67
5.3 监督学习方法 68
5.3.1 单学习器 68
5.3.2 集成学习器 72
5.4 非监督学习方法 83
5.4.1 主成分分析 84
5.4.2 高斯混合模型 84
5.5 偏差与方差:提高模型泛化能力 87
5.5.1 偏差与方差 87
5.5.2 正则化 88
5.5.3 贝叶斯统计学方法 90
5.5.4 MAP点估计 90
5.6 机器学习流程 91
5.7 向深度学习器的演化 92
5.8 小结 93
参考文献 93
方法篇
第6章 前馈神经网络 97
6.1 主要构成要素 97
6.1.1 目标函数 97
6.1.2 输入及隐藏层 98
6.1.3 输出层 102
6.2 深层系统架构 107
6.3 反向传播算法原理 108
6.3.1 全微分 108
6.3.2 复合函数求导 110
6.3.3 反向传播算法 111
6.4 自动微分 113
6.4.1 不同的微分方法 114
6.4.2 后向梯度计算模式 115
6.4.3 前向及后向传播过程 117
6.4.4 高效的计算图及其实现算法 119
6.5 小结 125
参考文献 125
第7章 模型训练及优化 127
7.1 参数正则化 127
7.2 限制性优化 134
7.3 数据增强 139
7.4 迁移学习 140
7.5 多任务学习及参数共享 141
7.6 集成学习方法 144
7.7 Dropout方法 145
7.8 Early Stopping方法 147
7.9 mini batch梯度下降法 149
7.10 批正则化 152
7.11 优化算法主要挑战 155
7.12 参数初始化 157
7.13 基本梯度学习方法 159
7.14 适应性梯度学习方法 162
7.15 高阶优化 167
7.16 算法优化策略 168
7.17 小结 170
参考文献 172
第8章 卷积神经网络 174
8.1 神经生物学基础 174
8.2 感受野 175
8.3 卷积运算 175
8.3.1 离散卷积 175
8.3.2 卷积神经网络中的卷积运算 176
8.3.3 填充 177
8.4 CNN基本结构 178
8.4.1 卷积层 178
8.4.2 池化层(下采样层) 180
8.4.3 全连接层 181
8.4.4 激活函数 181
8.4.5 损失函数与优化方法 181
8.5 卷积神经网络发展历史 182
8.5.1 LeNet-5模型 183
8.5.2 AlexNet模型 184
8.5.3 VGGNet模型 186
8.5.4 GoogleLeNet模型 187
8.5.5 ResNet模型 187
8.6 卷积神经网络在遥感地学方面的应用 189
8.7 小结 190
参考文献 190
第9章 循环神经网络 194
9.1 循环神经网络的网络结构及原理 194
9.1.1 单向循环神经网络 195
9.1.2 时序反向传播算法 196
9.1.3双向循环神经网络 198
9.2 长短期记忆网络及其变体 199
9.2.1 长短期记忆网络 200
9.2.2 门控循环单元 201
9.2.3 RNN其他变体 202
9.3 混合神经网络 203
9.4 循环神经网络的应用 204
9.4.1 自然语言处理 204
9.4.2 地球科学 205
9.4.3 其他 206
9.5 小结 206
参考文献 207
第10章 其他网络建模方法 211
10.1 反卷积神经网络 211
10.2 自动编码器 212
10.3 t-SNE方法 213
10.4 变分自动编码器 214
10.5 生成对抗网络 218
10.6 深度信任网络 220
10.7 注意力机制 223
10.8 图网络 227
10.9 自然语言处理的网络模型 232
10.9.1 基本语言模型 232
10.9.2 tf-ldf重要性提取 233
10.9.3 word2vec方法 234
10.9.4神经概率语言模型 236
10.9.5 基于Hierarchical Softmax的模型 238
10.9.6 CBOM模型 239
10.9.7 sklp-gram模型 241
10.10 小结 242
参考文献 243
遥感地学分析篇
第11章 遥感地学分析概述 247
11.1 背景介绍 247
11.2 遥感地学智能分析的系统框架 250
参考文献 254
第12章 遥感图像土地利用分类 256
12.1 遥感图像土地利用分类方法综述 256
12.1.1 遥感图像土地利用分类方法 256
12.1.2 基于深度学习的遥感图像语义分割 258
12.2 相关工作 259
12.2.1 残差学习 260
12.2.2 多尺度 261
12.2.3 基于深度学习的语义分割 262
12.3 多尺度深度残差自动编码 263
12.3.1 基于自动编码器的结构 263
12.3.2 两种残差连接 264
12.3.3 空洞卷积和多尺度的融合 265
12.3.4 训练集的采样和边界效应 266
12.3.5 衡量指标和损失函数 267
12.3.6 执行过程 268
12.4数据集与训练 269
12.4.1 数据集 270
12.4.2 训练及测试 271
12.5 土地利用分类结果及讨论 271
12.6 小结 278
参考文献 279
第13章 建筑物识别 286
13.1 遥感图像建筑物识别方法研究 286
13.2 基于形状表示和多尺度的深度残差分割方法 287
13.2.1 U-Net结构 287
13.2.2 残差学习 289
13.2.3 ASPP 289
13.2.4 形状表示自动编码器的正则化方法 290
13.2.5 损失函数,多尺度和边界效应 291
13.3 实验数据集和评估 292
13.3.1 研究区域 293
13.3.2 评估 293
13.4 建筑物识别结果 294
13.5 小结 301
参考文献 302
第14章 气象参数预测 306
14.1 应用综述 306
14.2 中国大陆风速时空数据 307
14.2.1 研究区域 308
14.2.2 测量数据 308
14.2.3 协变量 308
14.3 研究方法 309
14.3.1 阶段1:地理加权学习 310
14.3.2 阶段2:基于深度残差网络的降尺度 314
14.3.3 超参数优化与验证 315
14.4 风速预测结果 315
14.4.1 数据总结和预处理 315
14.4.2 阶段1的训练模型 316
14.4.3 阶段2的预测和降尺度 318
14.5 小结 322
参考文献 324
第15章 遥感气溶胶数据缺值处理 327
15.1 缺值数据插补方法概述 327
15.2 MAIAC AOD数据 328
15.2.1 案例研究区域 328
15.2.2 数据变量 329
15.3 降尺度与深度学习结合的插补方法 330
15.3.1 MAIAC AOD预处理 330
15.3.2 基于自动编码器的深度残差网络 331
15.3.3 基于深度残差网络的MERRA-2GMI重放模拟AOD降尺度 335
15.3.4 全模型和非全模型 336
15.3.5 超参数调整与验证 336
15.3.6 利用AERONET数据进行偏差校正 337
15.4 插补结果 338
15.4.1 卫星AOD和协变量概要 338
15.4.2 MERRA-2GMI重放模拟AOD降尺度 339
15.4.3 插补 343
15.4.4 用AERONET数据验证模型并校正偏差 344
15.5 小结 346
参考文献 348
第16章 地表参数反演 352
16.1 遥感反演模型概述 352
16.2 利用自动微分法转换卫星AOD与GAC 353
16.3 GAC模拟的材料和方法 354
16.3.1 案例研究区域 354
16.3.2 数据集 354
16.3.3 地面气溶胶消光系数的模拟 355
16.3.4 自动微分法求解 357
16.3.5 验证和比较 361
16.4 GAC模拟结果 361
16.4.1 描述性统计 361
16.4.2 学习和验证 362
16.4.3 方法比较 363
16.4.4 地面气溶胶系数模拟值和PMu预测值的空间分布 364
16.5 小结 365
参考文献 368
第17章 大气污染物浓度预测 373
17.1 空气污染建模综述 373
17.2 融合多元大数据的集成学习方法 375
17.3 研究区域及数据 375
17.3.1 研究区域 375
17.3.2 PM2.5的测量 376
17.3.3 特征变量 377
17.4 PM2.5浓度估计集成学习方法 379
17.4.1 预处理 380
17.4.2 全残差深度网络基模型 381
17.4.3 Bagging和集成预测 382
17.4.4 验证和独立测试 384
17.4.5 特征重要度和模型解释 384
17.5 估计结果及验证 385
17.5.1 总结和相关性 385
17.5.2 最优基模型与集成学习 386
17.5.3 评估 388
17.5.4 预测PM2.5和野火的表面 390
17.6 小结 392
参考文献 394
索引 401
彩图