本书讨论大规模强化学习的理论及方法，介绍强化学习在大状态空间任务中的应用。该研究已成为近年来计算机科学与技术领域最活跃的研究分支之一。 全书共分六部分 21 章。第一部分是强化学习基础。第二部分是用于强化学习的值函数逼近方法。第三部分是最小二乘策略迭代方法。第四部分是模糊近似强化学习方法。第五部分是并行强化学习方法。第六部分是离策略强化学习方法。
样章试读
目录
- 目 录
前言
第 1 章 强化学习概述 1
1.1 简介 1
1.2 形式框架 3
1.2.1 马尔可夫决策过程 3
1.2.2 策略 6
1.2.3 回报 7
1.3 值函数 7
1.4 解决强化学习问题 9
1.4.1 动态规划：基于模型的解决技术 9
1.4.2 强化学习：模型无关的解决技术 16
1.5 本章小结 20
参考文献 21
第 2 章 大规模或连续状态空间的强化学习 23
2.1 简介 23
2.2 近似表示 24
2.2.1 带参数化值函数逼近 24
2.2.2 非参数化值函数逼近 28
2.3 值函数逼近求解方法 29
2.3.1 梯度下降方法 30
2.3.2 最小二乘回归 31
2.4 本章小结 31
参考文献 32
第 3 章 梯度下降值函数逼近模型的改进 33
3.1 改进的梯度下降值函数逼近模型 33
3.1.1 势函数塑造奖赏机制 33
3.1.2 基于势函数塑造奖赏机制的值函数逼近模型 35
3.2 NRBF-GD-Sarsa(λ)算法 36
3.2.1 算法描述 36
3.2.2 算法收敛性分析 37
3.3 仿真实验 39
3.3.1 实验描述 39
3.3.2 实验设置 40
3.3.3 实验分析 41
3.4 本章小结 43
参考文献 44
第 4 章 基于 LSSVR 的 Q-值函数分片逼近模型 45
4.1 LSSVR-Q-值函数分片逼近模型 45
4.2 在线稀疏化样本池构建方法 48
4.3 LSSVR-Q 算法 49
4.4 仿真实验 49
4.4.1 实验 1：Mountain Car 问题 51
4.4.2 实验 2：DC Motor 问题 54
4.5 本章小结 57
参考文献 58
第 5 章 基于 ANRBF 网络的 Q-V 值函数协同逼近模型 59
5.1 Q-V 值函数协同机制 59
5.2 Q-V 值函数协同逼近模型 61
5.3 Q-V 值函数协同逼近算法 63
5.3.1 QV(λ)算法 63
5.3.2 算法收敛性分析 65
5.4 仿真实验 67
5.4.1 实验描述 67
5.4.2 实验设置 68
5.4.3 实验分析 68
5.5 本章小结 73
参考文献 73
第 6 章 基于高斯过程的快速 Sarsa 算法 75
6.1 新的值函数概率生成模型 75
6.2 利用高斯过程对线性带参值函数建模 77
6.3 FL-GPSarsa 算法 78
6.4 仿真实验 81
6.4.1 带风的格子世界问题 81
6.4.2 Mountain Car 问题 84
6.5 本章小结 86
参考文献 87
第 7 章 基于高斯过程的 Q 学习算法 88
7.1 值迭代方法 88
7.2 用于值迭代的值函数概率生成模型 89
7.3 GP-QL 算法 90
7.4 仿真实验 93
7.4.1 实验 1：带悬崖的格子世界问题 93
7.4.2 实验 2：Mountain Car 问题 96
7.5 本章小结 97
参考文献 97
第 8 章 最小二乘策略迭代算法 99
8.1 马尔可夫决策过程 99
8.2 最小二乘策略迭代 100
8.2.1 投影贝尔曼等式的矩阵形式 100
8.2.2 最小二乘策略迭代 103
8.2.3 在线最小二乘策略迭代 104
8.3 本章小结 106
参考文献 106
第 9 章 批量最小二乘策略迭代算法 107
9.1 批量强化学习算法 107
9.2 批量最小二乘策略迭代算法 108
9.3 算法分析 111
9.3.1 收敛性分析 111
9.3.2 复杂度分析 113
9.4 仿真实验 114 9.4.1 实验描述 114
9.4.2 实验设置 115
9.4.3 实验分析 115
9.5 本章小结 120
参考文献 120
第 10 章 自动批量最小二乘策略迭代算法 122
10.1 定点步长参数评估方法 122
10.2 自动批量最小二乘策略迭代算法 124
10.3 仿真实验 125
10.3.1 实验描述 125
10.3.2 实验分析 125
10.4 本章小结 130
参考文献 130
第 11 章 连续动作空间的批量最小二乘策略迭代算法 132
11.1 二值动作搜索 132
11.2 快速特征选择 133
11.3 连续动作空间的快速特征选择批量最小二乘策略迭代算法 134
11.4 仿真实验 136
11.4.1 实验描述 136
11.4.2 实验设置 136
11.4.3 实验分析 136
11.5 本章小结 140
参考文献 141
第 12 章 一种基于双层模糊推理的 Sarsa(λ)算法 143
12.1 Q-值函数的计算和 FIS 的参数更新 143
12.2 DFR-Sarsa(λ)算法 146
12.2.1 DFR-Sarsa(λ)算法的学习过程 146
12.2.2 算法收敛性分析 147
12.3 仿真实验 149
12.3.1 Mountain Car 149
12.3.2 平衡杆 151
12.4 本章小结 153
参考文献 153
第 13 章 一种基于区间型二型模糊推理的 Sarsa(λ)算法 155
13.1 近似 Q-值函数的计算和参数的更新 155
13.2 IT2FI-Sarsa(λ)算法的学习过程 157
13.3 算法收敛性分析 158
13.4 仿真实验 162
13.4.1 实验设置 163
13.4.2 实验分析 163
13.5 本章小结 165
参考文献 165
第 14 章 一种带有自适应基函数的模糊值迭代算法 167
14.1 基函数的近似性能评价 167
14.2 基函数的自适应细化更新方式 169
14.3 ABF-QI 算法 170
14.3.1 ABF-QI 算法的学习过程 170
14.3.2 算法收敛性分析 171
14.4 仿真实验 172
14.4.1 问题描述与参数设置 172
14.4.2 实验分析 172
14.5 本章小结 175
参考文献 175
第 15 章 基于状态空间分解和智能调度的并行强化学习 177
15.1 IS-SRL 和 IS-SPRL 177
15.1.1 子问题的学习过程 177
15.1.2 IS-SPRL 的消息传递和调度 180
15.1.3 学习步骤 181
15.2 加权优先级调度算法 183
15.3 收敛性分析 186
15.3.1 模型和假设 187
15.3.2 基于 IS-SRL 和 IS-SPRL 的 Q 学习算法的收敛性 188
15.4 仿真实验 190
15.4.1 不同调度算法的比较 191
15.4.2 算法在不同参数下的性能比较 191
15.4.3 不同算法的收敛速度的比较 193
15.4.4 结果分析 195
15.5 本章小结 195
参考文献 196
第 16 章 基于资格迹的并行时间信度分配强化学习算法 198
16.1 资格迹与强化学习 199
16.2 并行时间信度分配 200
16.3 性能优化与系统容错 203
16.3.1 状态迁移预测 203
16.3.2 故障预防和恢复 203
16.4 仿真实验 204
16.5 本章小结 206
参考文献 207
第 17 章 基于并行采样和学习经验复用的 E3算法 209
17.1 E3算法 209
17.2 学习经验复用 212
17.3 并行 E3算法 212
17.4 系统容错 215
17.5 仿真实验 216
17.6 本章小结 219
参考文献 219
第 18 章 基于线性函数逼近的离策略 Q(λ)算法 221
18.1 离策略强化学习 221
18.1.1 梯度下降法与线性函数逼近 221
18.1.2 离策略强化学习算法 224
18.2 GDOP-Q(λ)算法 226
18.2.1 GDOP-Q(λ) 226
18.2.2 收敛性分析 227
18.3 仿真实验 230
18.4 本章小结 234
参考文献 234
第 19 章 基于二阶 TD Error 的 Q(λ)算法 236
19.1 二阶 TD Error 快速 Q(λ)算法 236
19.1.1 二阶 TD Error 236
19.1.2 资格迹 238
19.1.3 SOE-FQ(λ) 238
19.1.4 算法收敛性及时间复杂度分析 239
19.2 仿真实验 244
19.2.1 Random Walk 问题 244
19.2.2 Mountain Car 问题 247
19.3 本章小结 248
参考文献 249
第 20 章 基于值函数迁移的快速 Q-Learning 算法 251
20.1 自模拟度量与状态之间的距离 252
20.2 基于值函数迁移的 Q-Learning 算法 254
20.2.1 基于自模拟度量的值函数迁移 254
20.2.2 VFT-Q-Learning 256
20.3 仿真实验 257
20.3.1 问题描述 257
20.3.2 实验设置 258
20.3.3 实验分析 258
20.4 本章小结 262
参考文献 263
第 21 章 离策略带参贝叶斯强化学习算法 264
21.1 高斯过程 264
21.2 基于高斯过程的离策略带参近似策略迭代算法 265
21.2.1 基于高斯过程的值函数参数估计 265
21.2.2 基于 VPI 的动作选择方法 269
21.2.3 GP-OPPAPI 270
21.3 仿真实验 273
21.4 本章小结 275
参考文献 276
京公网安备 11010102004214号