本书围绕构建能够针对多样化开放领域话题进行类人交互的对话系统所面临的挑战,从理论基础、模型方法到实践应用进行全面深入的探讨。本书详细阐述基于近邻语义增强历史话语表示的对话生成、基于硬式选择性上下文运用的对话生成、基于双重阅读器的上下文自适应的对话生成、基于上下文控制和主题感知的对话生成、基于自注意力机制的情感对话生成以及融合主题信息的情感对话生成等理论方法。本书不仅系统地总结开放域对话生成的技术脉络,更通过一系列创新性的工作,为该领域的未来发展提供重要的理论基石与实践指南,兼具深度与广度。
样章试读
目录
- 目录
“新一代人工智能理论、技术及应用丛书”序
前言
第1章 绪论 1
1.1 研究背景 1
1.1.1 智能对话系统 1
1.1.2 深度序列学习 2
1.1.3 基于深度序列学习的开放域对话生成 4
1.2 本书主要研究问题 5
1.3 本书的主要贡献 6
第2章 基于近邻语义增强历史话语表示的对话生成方法 9
2.1 背景介绍 9
2.2 相关研究工作 10
2.2.1 非层次对话历史表示方法 10
2.2.2 层次对话历史表示方法 10
2.2.3 相关工作述评 11
2.3 基于近邻语义增强历史话语表示的对话生成模型 11
2.3.1 问题描述和模型框架 11
2.3.2 KS-CQ模型设计 12
2.4 实验设置 19
2.4.1 实验数据集 19
2.4.2 对比模型 20
2.4.3 评估指标 21
2.4.4 参数设置 22
2.5 实验结果分析与讨论 22
2.5.1 KS-CQ模型的对话生成性能分析 22
2.5.2 KS-CQ模型中上下文和查询的作用分析 24
2.5.3 Keep模块中前向邻居和后向邻居的影响分析 25
2.5.4 消融实验:Keep模块和Select模块的贡献分析 25
2.5.5 对话历史长度对模型性能的影响分析 26
2.5.6 查询长度对模型性能的影响分析 27
2.6 本章小结 29
参考文献 30
第3章 基于硬式选择性上下文运用的对话生成方法 33
3.1 背景介绍 33
3.2 相关研究工作 34
3.2.1 非选择性对话上下文运用的相关工作 34
3.2.2 选择性对话上下文运用的相关工作 35
3.2.3 相关工作述评 36
3.3 基于硬式选择性上下文运用的对话生成模型 36
3.3.1 问题描述和模型框架 36
3.3.2 HardSCU模型设计 37
3.4 实验设置 44
3.4.1 实验数据集 44
3.4.2 对比模型 45
3.4.3 评估指标 47
3.4.4 参数设置 47
3.5 实验结果分析与讨论 48
3.5.1 HardSCU 在对话生成上的性能分析 48
3.5.2 CorefSCU-R CorefSCU-T 性能对比 50
3.5.3 CorefSCU 上下文选择上的精准性分析 51
3.5.4 消融实验:上下文选择模块对CorefSCU 贡献分析 52
3.5.5 对话历史长度变化下HardSCU 鲁棒性分析 53
3.5.6 强弱查询区分上话语长度和平均词级信息熵的有效性分析 55
3.6 本章小结 56
参考文献 56
第4章 基于双重阅读器的上下文自适应的对话生成方法 61
4.1 背景介绍 61
4.2 相关研究工作 61
4.2.1 对话生成相关工作 62
4.2.2 多模型融合相关工作 62
4.3 基于双重阅读器的上下文自适应的对话生成模型 63
4.3.1 问题描述和模型框架 63
4.3.2 CARG 型设计 64
4.4 实验设置 72
4.4.1 实验数据集 72
4.4.2 对比模型 73
4.4.3 评估指标 75
4.4.4 参数设置 75
4.5 实验结果分析与讨论 75
4.5.1 CARG 对话生成性能分析 76
4.5.2 整合机制和吸收机制的性能分析 77
4.5.3 上下文自适应训练和测试的性能分析 78
4.6 本章小结 79
参考文献 80
第5章 基于上下文控制和主题感知的对话生成方法 85
5.1 背景介绍 85
5.2 相关研究工作 86
5.2.1 显式对话主题建模方法 86
5.2.2 隐式对话主题建模方法 86
5.2.3 相关工作述评 87
5.3 基于上下文控制和主题感知的对话生成模型 87
5.3.1 问题描述和模型框架 87
5.3.2 CARG 型设计 89
5.4 实验设置 95
5.4.1 实验数据集 95
5.4.2 对比模型 96
5.4.3 评估指标 97
5.4.4 参数设置 98
5.5 实验结果分析与讨论 98
5.5.1 CCTA 型的对话生成性能分析 98
5.5.2 CCTA 型主题转换的准确度分析 100
5.5.3 主题转换损失tran
?Θ 的有效性分析 101
5.5.4 CCTA 型消融分析 102
5.6 本章小结 103
参考文献 103
第6章 基于自注意力机制的情感对话生成方法 106
6.1 问题描述 107
6.2 模型设计 108
6.2.1 自注意力增强编码器 109
6.2.2 上下文编码器和融合模块 110
6.2.3 情感响应生成器 111
6.3 实验设计 112
6.3.1 研究问题 112
6.3.2 数据集 112
6.3.3 评价指标 113
6.3.4 实验设置和对比模型 114
6.4 实验结果与分析 115
6.4.1 整体性能分析 115
6.4.2 人工评价 115
6.4.3 上下文长度影响 116
6.4.4 案例分析 117
6.5 本章小结 118
参考文献 118
第7章 融合主题信息的情感对话生成方法 120
7.1 问题描述 121
7.2 模型设计 121
7.2.1 主题获取模块 121
7.2.2 独立编码模块 123
7.2.3 主题信息融合模块 125
7.2.4 响应生成模块 126
7.3 实验设计 126
7.3.1 研究问题 126
7.3.2 数据集 127
7.3.3 评价指标 127
7.3.4 实验设置和对比模型 127
7.4 实验结果与分析 127
7.4.1 整体性能分析 127
7.4.2 人工评价 128
7.4.3 上下文长度影响 130
7.4.4 消融实验 131
7.4.5 案例分析 131
7.5 本章小结 132
参考文献 133
第8章 面向主动提问的对话生成方法 134
8.1 背景介绍 134
8.2 相关研究工作 135
8.2.1 问答领域的问题生成方法 135
8.2.2 对话领域的问题生成方法 136
8.2.3 相关工作述评 136
8.3 面向主动提问的对话生成模型 137
8.3.1 问题描述和模型框架 137
8.3.2 CNQG 型设计 138
8.4 实验设置 146
8.4.1 实验数据集 146
8.4.2 对比模型 147
8.4.3 评估指标 148
8.4.4 参数设置 150
8.5 实验结果分析与讨论 150
8.5.1 CNQG 型的问题生成性能分析 151
8.5.2 CNQG 型在问题类型预测上的性能分析 153
8.5.3 CNQG 型在问题内容预测上的性能分析 154
8.5.4 CNQG 型消融分析 155
8.5.5 上下文长度对CNQG 型的影响分析 157
8.6 本章小结 158
参考文献 158
第9章 总结与展望 164
9.1 总结 164
9.2 展望 168