本书坚持理论教学环节与实验实践教学环节并重的教育理念, 不仅详细探讨了机器学习和深度学习原理, 即“模型、学习准则和优化算法”, 而且对每一个模型均辅以 Python “自编码”算法设计, 详细再现了从原理分析到算法设计与应用的过程和思想, 使理论分析、优化计算与算法设计三者交互映衬, 便于读者学习掌握.
本书共包含 16 章, 既涵盖了经典的机器学习模型, 如线性模型、k-近邻、支持向量机、决策树、贝叶斯模型、集成学习、聚类等, 又涵盖了深度学习领域新兴优秀的学习模型, 如卷积神经网络、循环神经网络、自然语言处理和生成式深度学习等.
样章试读
目录
- 目录
前言
第1章Python与机器学习基础1
1.1Python语言及其基本语法2
1.1.1Python语言与开发环境2
1.1.2Python语法与面向数组计算4
1.2Python模块化设计与感知机10
1.2.1Python模块化设计10
1.2.2感知机模型13
1.2.3感知机的算法设计16
1.3机器学习与深度学习基础25
1.3.1机器学习简述25
1.3.2机器学习的类型29
1.3.3深度学习简述31
1.4过拟合与泛化性能33
1.4.1过拟合33
1.4.2偏差与方差37
1.5习题与实验40
1.6本章小结41
1.7参考文献41
第2章模型评估与多分类学习43
2.1评估方法43
2.1.1留出法44
2.1.2k折交叉验证法45
2.1.3自助法47
2.1.4调参与最终模型49
2.1.5Hyperopt自动化超参数调优51
2.2性能度量55
2.2.1性能度量指标55
2.2.2P-R曲线57
2.2.3ROC曲线60
2.2.4代价敏感错误率与代价曲线62
2.2.5性能度量算法设计64
2.3多分类学习73
2.3.1多分类学习策略73
2.3.2多分类学习的算法设计74
2.4习题与实验79
2.5本章小结79
2.6参考文献80
第3章线性回归81
3.1线性回归模型的闭式解82
3.1.1学习准则与闭式解82
3.1.2可决系数84
3.1.3算法设计与应用85
3.2梯度下降法迭代优化91
3.2.1梯度下降法与参数更新公式91
3.2.2算法设计与应用93
3.3多项式回归98
3.3.1模型建立与算法设计98
3.3.2学习曲线101
3.4线性回归的正则化方法104
3.4.1Ridge回归及其算法设计106
3.4.2LASSO回归及其算法设计110
3.4.3ElasticNet回归及其算法设计121
3.5习题与实验124
3.6本章小结125
3.7参考文献126
第4章逻辑回归127
4.1二分类学习任务127
4.1.1逻辑回归模型与交叉熵损失函数.127
4.1.2梯度下降法及其加速算法130
4.1.3线性收敛的随机优化算法133
4.1.4二阶优化的拟牛顿算法135
4.1.5二分类算法设计与应用139
4.2多分类学习任务154
4.2.1Softmax回归和学习策略155
4.2.2多分类算法设计与实现158
4.3习题与实验165
4.4本章小结165
4.5参考文献166
第5章判别分析与主成分分析167
5.1LDA二分类问题167
5.1.1广义瑞利商和LDA模型求解168
5.1.2LDA二分类问题算法171
5.2LDA多分类任务的降维与预测174
5.2.1LDA多分类模型建立和求解174
5.2.2LDA多分类任务的降维与预测算法177
5.3二次判别分析182
5.4主成分分析184
5.4.1主成分分析原理184
5.4.2QR正交分解法求实对称矩阵特征值与特征向量188
5.4.3主成分分析算法设计191
5.5核主成分分析195
5.6习题与实验199
5.7本章小结200
5.8参考文献201
第6章决策树202
6.1特征划分选择与连续值处理202
6.1.1信息熵203
6.1.2离散特征变量的划分标准204
6.1.3连续特征变量的划分标准与分箱处理209
6.1.4特征划分选择标准的算法设计213
6.2决策树算法设计217
6.3剪枝处理226
6.4基于CART的回归树231
6.5习题与实验239
6.6本章小结241
6.7参考文献242
第7章k-近邻243
7.1距离度量245
7.2kd树的建立与搜索246
7.3k-近邻算法设计249
7.4习题与实验259
7.5本章小结260
7.6参考文献261
第8章贝叶斯分类器262
8.1朴素贝叶斯分类器263
8.1.1朴素贝叶斯分类器原理263
8.1.2朴素贝叶斯分类器算法设计266
8.2半朴素贝叶斯分类器273
8.2.1半朴素贝叶斯分类器原理273
8.2.2基于AODE算法的半朴素贝叶斯算法设计275
8.3习题与实验280
8.4本章小结281
8.5参考文献281
第9章支持向量机282
9.1线性可分支持向量机282
9.1.1间隔与支持向量282
9.1.2对偶问题与KKT条件284
9.1.3线性可分支持向量机模型286
9.2软间隔与线性支持向量机288
9.3核函数与非线性支持向量机290
9.4SMO与Pegasos优化算法291
9.4.1SMO算法291
9.4.2Pegasos算法295
9.5支持向量机的算法设计296
9.6支持向量机回归310
9.6.1SVR模型与学习310
9.6.2SVR算法设计313
9.7习题与实验321
9.8本章小结321
9.9参考文献322
第10章集成学习324
10.1Boosting族算法326
10.1.1AdaBoost分类及其变体算法326
10.1.2AdaBoost回归336
10.1.3回归问题的提升树与GBDT算法340
10.1.4分类问题的GBDT算法346
10.2Bagging与随机森林350
10.2.1Bagging350
10.2.2随机森林356
10.3XGBoost364
10.3.1XGBoost模型与学习364
10.3.2XGBoost分类与回归算法.369
10.4习题与实验.377
10.5本章小结377
10.6参考文献378
第11章聚类379
11.1聚类的性能度量和距离度量379
11.2原型聚类385
11.2.1k-means聚类386
11.2.2学习向量量化394
11.2.3高斯混合聚类398
11.3密度聚类405
11.4层次聚类410
11.5习题与实验415
11.6本章小结415
11.7参考文献416
第12章前馈神经网络417
12.1单层神经网络419
12.2BP神经网络423
12.2.1BP神经网络训练原理423
12.2.2Affine层设计430
12.2.3BP神经网络架构设计431
12.2.4加速优化学习方法440
12.2.5基于优化学习方法的BP神经网络算法设计446
12.3神经网络多分类问题449
12.4深度神经网络学习453
12.4.1梯度消失和激活函数454
12.4.2网络权重初始化方法458
12.4.3过拟合和节点丢弃460
12.4.4批归一化465
12.5径向基函数神经网络472
12.6习题与实验477
12.7本章小结479
12.8参考文献479
第13章卷积神经网络481
13.1卷积层482
13.2池化层488
13.3卷积神经网络的算法设计490
13.3.1卷积层的算法设计490
13.3.2池化层的算法设计492
13.3.3CNN算法设计架构494
13.4习题与实验503
13.5本章小结505
13.6参考文献505
第14章循环神经网络与自然语言处理506
14.1简单循环神经网络模型506
14.1.1S-RNN模型与学习506
14.1.2S-RNN算法设计511
14.2长短期记忆网络520
14.2.1LSTM模型与学习520
14.2.2LSTM算法设计523
14.3门控循环单元网络530
14.3.1GRU模型与学习530
14.3.2GRU算法设计532
14.4自然语言处理537
14.4.1word2vec模型537
14.4.2Seq2Seq模型541
14.4.3Attention机制551
14.5习题与实验561
14.6本章小结561
14.7参考文献562
第15章自组织映射神经网络563
15.1SOM网络模型和学习564
15.2SOM算法设计566
15.3习题与实验575
15.4本章小结576
15.5参考文献576
第16章生成式深度学习577
16.1变分自编码器577
16.1.1VAE模型和学习578
16.1.2VAE算法设计583
16.2生成式对抗网络593
16.2.1GAN模型和学习594
16.2.2GAN算法设计596
16.3深度卷积生成式对抗网络DCGAN607
16.4习题与实验613
16.5本章小结613
16.6参考文献614
京公网安备 11010102004214号