特征选择是机器学习的重要研究内容,有着广泛的应用价值。特征选择主要从数据(尤其是高维数据)中选取有效特征来表示数据,从而提高机器学习算法的性能。本书以重庆工商大学等单位的机器学习、图像处理课题为基础,系统地介绍特征选择的基本概念,以及相关的理论和算法,也对它的前沿研究(如无监督特征选择)和其在计算机视觉中的应用进行详细介绍,最后对特征选择的发展方向进行展望。
样章试读
目录
- 目录
1 基本概念1
1.1 特征选择2
1.1.1 相关特征7
1.1.2 冗余特征11
1.2 特征变换15
1.3 特征提取20
1.3.1 尺度不变特征变换21
1.3.2 方向梯度直方图24
1.4 本章小结27
1.5 本书的组织28
2 特征选择及相关技术研究现状30
2.1 传统特征选择的研究现状30
2.1.1 生成特征子集30
2.1.2 评价特征子集32
2.2 监督特征选择算法研究现状35
2.2.1 过滤式特征选择算法35
2.2.2 绑定式39
2.2.3 嵌入式特征选择算法40
2.3 本章小结44
3 组稀疏子空间的大间隔特征选择45
3.1 模型的基本思想45
3.1.1 大间隔学习45
3.1.2 组稀疏子空间学习53
3.2 模型的建立与实现57
3.2.1 模型的建立57
3.2.2 目标函数的求解60
3.3 算法收敛性分析65
3.4 本章小结67
4 Trace Ratio-组稀疏子空间的大间隔特征选择68
4.1 模型建立的基本思想68
4.2 模型建立及算法的实现69
4.2.1 模型的建立69
4.2.2 TR-GSLM算法的求解过程71
4.2.3 TR-GSLM算法的收敛性分析76
4.3 本章小结77
5 高效的Trace Ratio-组稀疏子空间的大间隔特征选择78
5.1 模型建立的基本思想78
5.2 ETR-GSLM算法实现过程79
5.3 ETR-GSLM收敛性分析84
5.4 实验分析86
5.4.1 实验数据集及环境86
5.4.2 参与比较的算法87
5.4.3 基于分类精度的特征选择算法性能比较88
5.4.4 平均分类精度的比较88
5.4.5 提取前30%和60%的特征的分类精度比较89
5.4.6 参数的敏感性分析与比较90
5.4.7 算法的效率比较99
5.4.8 实验小结101
5.5 本章小结102
6 无监督的特征选择103
6.1 无监督特征选择的分类104
6.2 过滤式无监督特征选择104
6.2.1 Laplacian评分105
6.2.2 谱分解的特征选择算法111
6.3 嵌入式无监督特征选择116
6.3.1 将结构信息与机器学习算法结合117
6.3.2 结构信息,聚类信息与机器学习算法结合122
6.3.3 结构信息,动态更新聚类信息和机器学习算法结合125
6.3.4 动态更新结构信息,聚类信息和机器学习算法结合128
6.4 本章小结130
7 计算机视觉中的特征选择132
7.1 高斯混合模型133
7.1.1 生成方法和判别方法134
7.1.2 高斯混合模型135
7.2 Fisher向量141
7.3 基于Fisher向量的特征选择144
7.4 本章小结146
参考文献148