本书以“需求分析—理论基础—关键技术—未来展望”为主线，全面梳理和分析了大语言模型在教育中的应用潜力与技术挑战。第1章概述了教育大模型的需求及典型应用场景。第2章深入介绍了大语言模型的理论基础与技术框架。第3～6章聚焦了实际应用中的关键技术问题，包括价值观对齐、推理能力提升、示意图理解及模型压缩等。第7章展望了未来研究方向，为持续发展提供指引。
样章试读
目录
- 目录
序
前言
第1章 教育大模型概述 1
1.1 教育领域对大模型的需求 2
1.1.1 大模型要能会算 2
1.1.2 生成内容要安全可控 3
1.1.3 融合动态多模态知识 4
1.1.4 构建全链贯通的新应用场景 4
1.2 教育大模型的典型应用场景 5
1.2.1 教学实施方面 6
1.2.2 学习支持方面 7
1.2.3 评估反馈方面 8
1.2.4 教育管理方面 9
1.3 内容组织 9
第2章 大语言模型基本知识 12
2.1 语言模型及其分类 12
2.1.1 BoW模型 12
2.1.2 n-gram模型 13
2.2 大语言模型的发展历程 14
2.2.1 阶段一：Transformer架构的崛起(2017年~2018年) 15
2.2.2 阶段二：预训练范式的确立(2018年~2021年) 15
2.2.3 阶段三：迈向超大规模和多模态(2021年~2024年) 15
2.3 大语言模型的特点 18
2.3.1 尺度律 18
2.3.2 涌现能力 20
2.3.3 反尺度现象 21
2.4 体系架构 22
2.4.1 Transformer模型 22
2.4.2 大语言模型的三种架构 27
2.5 主要技术概述 30
2.5.1 预训练 31
2.5.2 微调 32
2.5.3 人类对齐 32
2.5.4 模型压缩 33
2.5.5 提示工程 34
2.5.6 检索增强生成 35
2.6 小结 37
第3章 价值观对齐：让模型不胡说八道 39
3.1 价值观对齐概述 39
3.1.1 价值观问题 40
3.1.2 对齐的目标 41
3.1.3 对齐数据集 43
3.1.4 对齐的挑战 44
3.2 基于监督微调的对齐 45
3.2.1 正样本指令微调 46
3.2.2 正负样本指令微调 47
3.2.3 直接学习拟合排序信号 48
3.3 基于强化学习的对齐 49
3.3.1 RLHFF 50
3.3.2 RLxF 52
3.4 推理阶段对齐 55
3.4.1 输入引导方法 56
3.4.2 输出控制方法 57
3.5 对齐保证 58
3.5.1 安全评估 58
3.5.2 价值观验证 60
3.6 AI治理 61
3.6.1 内涵和意义 62
3.6.2 治理原则和措施 62
3.7 小结 63
第4章 大模型推理：让模型能求解复杂问题 64
4.1 大模型在推理上的局限性 64
4.1.1 自回归模型在推理上的局限性 64
4.1.2 推理模型的局限性 67
4.2 途径1：微调 69
4.2.1 加性PEFT 70
4.2.2 选择性PEFT 72
4.2.3 重参数化PEFT 73
4.3 途径2：提示工程 74
4.3.1 思维链提示 75
4.3.2 自一致性提示 76
4.3.3 由少至多提示 77
4.3.4 思维树提示 78
4.4 途径3：与符号系统协同 81
4.4.1 协同范式1：Symbolic→LM 81
4.4.2 协同范式2：LM→Symbolic 84
4.4.3 协同范式3：Symbolic:LM 90
4.5 途径4：引入强化学习的推理模型 91
4.5.1 为什么引入强化学习 92
4.5.2 策略优化 93
4.5.3 奖励建模 95
4.6 小结 97
第5章 示意图理解：让模型知文懂图 99
5.1 示意图特点及其引发的难题 99
5.1.1 示意图数据介绍 99
5.1.2 示意图三大特性 100
5.1.3 示意图的初步实验探究 102
5.2 基于格式感知准则的示意图对象解析 104
5.2.1 格式感知准则 105
5.2.2 准则引导的示意图对象解析 107
5.2.3 对象解析案例分析 109
5.3 示意图视觉对象与文本的对齐 109
5.3.1 基于图构建网络的示意图内部对象对齐 110
5.3.2 层次递进式的示意图-文本匹配 112
5.3.3 示意图文本对齐案例分析 114
5.4 大模型引导的示意图问答 115
5.4.1 大模型在示意图问答上的潜力 115
5.4.2 大模型引导的三阶段示意图问答 117
5.4.3 示意图问答案例分析 119
5.5 小结 120
第6章 模型压缩：让模型轻量化、易部署 122
6.1 大模型时代下的算力与数据消耗问题 122
6.2 模型剪枝 123
6.2.1 结构化剪枝方法 124
6.2.2 非结构化剪枝方法 126
6.2.3 半结构化剪枝方法 127
6.2.4 重要性评估准则 128
6.3 参数量化 130
6.3.1 参数量化的类型 130
6.3.2 参数量化的方法 131
6.3.3 典型的参数量化算法 133
6.4 知识蒸馏 136
6.4.1 知识类型 137
6.4.2 蒸馏方案 140
6.4.3 代表性蒸馏算法 142
6.5 网络架构轻量化 145
6.5.1 基于人工设计的紧凑网络 146
6.5.2 基于自动机器学习的紧凑网络 147
6.5.3 基于神经网络架构搜索的紧凑网络 148
6.5.4 代表性模型 149
6.6 大模型的压缩技术 151
6.6.1 常见的知识蒸馏方法 152
6.6.2 大模型的其他压缩方法 155
6.6.3 大模型压缩的挑战与未来发展方向 156
6.7 小结 157
第7章 未来研究方向 158
7.1 大模型的间接推理 158
7.2 理工科课程的问题生成 159
7.2.1 当前的研究工作 159
7.2.2 理工科课程问题生成面临的挑战 160
7.2.3 本书的一些初步工作 164
7.3 机理注入的示意图解析 169
7.4 教育大模型的评测基准 170
7.5 教育大模型的安全伦理问题 174
7.6 小结 176
参考文献 177
彩图
京公网安备 11010102004214号