情感识别是计算机科学应用的重要领域。本书介绍作者团队在情感识别领域的研究成果，展现深度学习方法在情感识别任务中的应用。全书共8章。其中，第1章介绍情感识别的研究现状与趋势；第2、3章介绍情感识别在视觉模态中的研究成果；第4～6章介绍情感识别在音频模态中的研究成果；第7、8章介绍多模态的数据集与多模态的情感识别方法。
样章试读
目录
- 目录
前言
第1章 绪论 1
1.1 国内外研究现状概述 2
1.1.1 基于静态图像的情感识别研究现状 3
1.1.2 基于视频序列的情感识别研究现状 6
1.1.3 语音情感识别国内外研究现状 8
1.1.4 自然环境下的情感数据集概述 13
1.2 情感识别面临的挑战 17
第2章 基于差分显著图和轻量型网络的面部运动单元检测及表情识别 19
2.1 主要思路与总体结构 19
2.2 相关工作 20
2.2.1 面部运动单元检测 21
2.2.2 联合面部运动单元检测与表情识别的多任务研究工作 22
2.3 差分显著图 23
2.3.1 差分显著图生成过程概述 23
2.3.2 面部对齐 23
2.3.3 掩模生成 25
2.3.4 差分显著图生成 26
2.4 轻量型网络的具体结构 28
2.4.1 轻量型网络的模块构成 28
2.4.2 最大池化 31
2.4.3 通道注意力 31
2.5 实验设置 33
2.5.1 数据集介绍 33
2.5.2 评价指标及实现细节 35
2.5.3 对比方法介绍 35
2.6 实验结果与分析 36
2.6.1 与经典卷积网络对比 37
2.6.2 与其他方法对比 41
2.6.3 消融实验 44
2.6.4 面部运动单元和表情识别联合训练的实验 49
2.7 本章小结 51
第3章 融入结构化情感常识知识和社交关系的上下文情感识别 53
3.1 主要思路与总体结构 53
3.2 相关工作 55
3.2.1 融入外部知识 55
3.2.2 上下文情感识别 55
3.3 融入结构化情感常识知识的情感知识图构建方法 56
3.3.1 大规模情感知识图 56
3.3.2 小规模情感知识图 59
3.4 融入社交关系的深度推理模块 60
3.5 多模态情感识别模型结构及数据处理细节 61
3.5.1 数据处理 61
3.5.2 网络模型结构 63
3.6 实验设置 63
3.6.1 数据集介绍 64
3.6.2 评价指标及实现细节 65
3.6.3 对比方法介绍 66
3.7 实验结果与分析 66
3.7.1 与其他方法对比 67
3.7.2 全局上下文信息对比实验 68
3.7.3 模型参数实验 70
3.7.4 消融实验 72
3.8 本章小结 76
第4章 基于自适应池化的语音情感识别 77
4.1 自适应池化 78
4.1.1 自适应池化的原理 78
4.1.2 基于自适应池化的模型 79
4.2 双向自适应池化 82
4.3 实验结果与分析 84
4.3.1 实验设置 84
4.3.2 自适应池化模块的实验结果 86
4.3.3 双向自适应池化模块的实验结果 88
4.4 本章小结 92
第5章 基于关键帧损失和中心损失的语音情感识别 93
5.1 关键帧损失函数 93
5.1.1 弱标签扩展为强标签 93
5.1.2 关键帧损失函数的建立 95
5.2 中心损失函数 97
5.2.1 中心损失函数原理 97
5.2.2 中心损失函数的建立 98
5.3 实验结果与分析 99
5.3.1 关键帧损失函数的实验结果 99
5.3.2 中心损失函数的实验结果 103
5.4 本章小结 109
第6章 基于原始语音信号的情感识别 110
6.1 基于原始语音信号的金字塔形网络 110
6.1.1 金字塔形网络的结构 110
6.1.2 基于金字塔形网络的端到端识别模型 111
6.2 基于融合特征的识别模型 114
6.3 实验结果与分析 116
6.3.1 基于原始语音信号的金字塔形网络实验结果 116
6.3.2 基于融合模型的实验结果 117
6.4 本章小结 121
第7章 基于情境的视频情感数据集 122
7.1 主要思路与总体结构 122
7.2 情感类别的定义 124
7.3 自然环境下情感数据集构建 126
7.3.1 数据收集 126
7.3.2 数据处理 127
7.3.3 数据标注 128
7.4 自然环境下的单标签情感数据集HEU Emotion 131
7.5 自然环境下的多标签情感数据集SVCEmotion 132
7.6 本章小结 135
第8章 多模态多分支融合的自然环境下的情感识别 136
8.1 主要思路与总体结构 136
8.2 视觉模态 138
8.2.1 人脸表情识别 138
8.2.2 姿态情感识别 140
8.2.3 全局信息情感识别 140
8.3 音频模态 142
8.4 文本模态 143
8.5 多模态多分支融合 144
8.6 实验结果与分析 145
8.6.1 评价指标及实现细节 146
8.6.2 HEU Emotion数据集实验 146
8.6.3 SVCEmotion数据集实验 150
8.7 本章小结 160
参考文献 161
京公网安备 11010102004214号