本书聚焦动态神经网络原理与实践，系统介绍样本自适应、空间自适应与时间自适应三类常见的动态计算机制。全书涵盖从基础架构、算法设计到训练推理的完整脉络，结合视觉识别、大语言模型、具身智能等前沿应用与代码实战，旨在帮助读者深入理解动态计算范式，建立对神经网络动态化设计的完整认知。
样章试读
目录
- 目录
“新一代人工智能理论、技术及应用丛书”序
前言
数学符号
第一部分 绪论与基础
第1章 神经网络基础 3
1.1 人工智能、机器学习与深度学习 3
1.2 经典深度神经网络简介 4
1.2.1 前馈神经网络 4
1.2.2 卷积神经网络 5
1.2.3 循环神经网络 10
1.2.4 Transformer 12
1.3 强化学习简介 15
1.3.1 强化学习的基本概念 15
1.3.2 基于值函数的强化学习 17
1.3.3 基于策略搜索的强化学习 17
1.3.4 基于演员-评论家的强化学习 17
1.4 动态神经网络简介 18
1.5 关于本书 21
第二部分 动态神经网络相关算法
第2章 样本自适应动态神经网络 25
2.1 引言 25
2.2 动态深度 25
2.2.1 动态早退 26
2.2.2 动态跳层 33
2.3 动态宽度 38
2.3.1 混合专家模型 38
2.3.2 动态剪枝 45
2.4 超网络中的动态路由 48
2.4.1 胶囊网络中的动态路由 49
2.4.2 树状结构 50
2.4.3 其他方法 53
2.5 脉冲神经网络 54
2.5.1 网络基本架构 54
2.5.2 脉冲神经网络的训练 56
2.6 动态参数调节 58
2.6.1 参数值调节 58
2.6.2 卷积核形状 62
2.7 动态参数预测 64
2.7.1 动态参数预测的通用方法 64
2.7.2 利用任务相关的信息 68
2.8 动态特征 71
2.8.1 注意力机制 71
2.8.2 动态激活函数 73
第3章 空间自适应动态神经网络 76
3.1 引言 76
3.2 像素级空间自适应动态神经网络 77
3.2.1 像素级动态结构 77
3.2.2 像素级动态参数 80
3.3 区域级空间自适应动态神经网络 80
3.3.1 动态变换 81
3.3.2 区域级硬注意力 84
3.4 词元级空间自适应动态神经网络 86
3.4.1 动态视觉Transformer 87
3.4.2 动态视觉-语言大模型 88
3.4.3 动态扩散模型 90
3.5 分辨率级空间自适应动态神经网络 93
3.5.1 多尺度结构中的动态分辨率 93
3.5.2 自适应比例缩放 95
第4章 时间自适应动态神经网络 96
4.1 引言 96
4.2 文本处理中的时间自适应动态神经网络 97
4.2.1 隐藏状态的动态更新 97
4.2.2 循环神经网络中的早退机制 100
4.2.3 文本中的跳过机制 102
4.3 视频任务中的时间自适应动态神经网络 103
4.3.1 动态定位关键帧 103
4.3.2 早退机制 110
4.3.3 时空联合自适应计算 112
第5章 动态神经网络的推理与训练 115
5.1 引言 115
5.2 动态神经网络中的离散决策 115
5.2.1 基于置信度的决策准则 115
5.2.2 策略网络 117
5.2.3 门函数 118
5.3 动态神经网络的训练策略 118
5.3.1 高效推理的训练目标 119
5.3.2 不可微函数的优化 121
第三部分 应用、实战与前沿
第6章 动态神经网络的应用 129
6.1 引言 129
6.2 自动驾驶 129
6.3 具身智能 132
6.4 大语言模型与多模态大语言模型 134
6.5 图像与视频生成 135
6.6 人脸识别 136
6.7 图像去噪 139
6.8 图像超分辨率 141
6.9 医疗影像 142
6.10 故障检测 144
6.11 光学字符识别 144
6.12 机器翻译 145
6.13 语音助手 145
6.14 推荐系统 146
第7章 动态神经网络实战 148
7.1 引言 148
7.2 训练神经网络的基本流程 148
7.2.1 加载数据集 149
7.2.2 定义模型 150
7.2.3 定义损失函数和优化器 150
7.2.4 训练模型 151
7.3 样本自适应动态神经网络典型示例 154
7.3.1 MSDNet 154
7.3.2 DynamicViT 159
7.4 空间自适应动态神经网络典型示例 161
7.4.1 DynConv 161
7.4.2 GFNet 169
7.5 时间自适应动态神经网络典型示例 174
7.5.1 AdaFocusV2 175
7.5.2 FrameExit 179
第8章 现存挑战与未来研究方向 183
8.1 动态神经网络理论 183
8.2 动态神经网络的结构设计 184
8.3 动态神经网络在更多任务上的应用 184
8.4 动态神经网络的理论与实际推理效率 185
8.5 动态神经网络的鲁棒性 185
8.6 动态神经网络的可解释性 185
参考文献 187
京公网安备 11010102004214号