本书系统讲述以网络为基础的科学活动环境中的数据管理技术。全书由概论、非结构化数据管理、结构化数据管理、应用实例四大部分组成,包括数据管理背景、数据管理需求与挑战、数据管理体系结构、数据存储、元数据管理、数据传输、存储资源管理、数据管理标准、OGSA-DAI、异构数据库整合、高能物理网格数据管理、虚拟天文台数据管理12 章。
样章试读
目录
- 目 录
前言
第一篇 概 论
第1 章 数据管理背景????????????????????????????????????????????????????????????????????????????????????????????????? 3
1.1 数据增长 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 3
1.2 数据管理目标 ????????????????????????????????????????????????????????????????????????????????????????????????? 5
1.3 数据管理功能 ????????????????????????????????????????????????????????????????????????????????????????????????? 6
1.3.1 数据存储 ????????????????????????????????????????????????????????????????????????????????????????????????? 7
1.3.2 元数据管理 ????????????????????????????????????????????????????????????????????????????????????????????? 7
1.3.3 副本管理 ????????????????????????????????????????????????????????????????????????????????????????????????? 8
1.3.4 数据传输管理 ?????????????????????????????????????????????????????????????????????????????????????????? 9
1.3.5 存储资源管理 ???????????????????????????????????????????????????????????????????????????????????????? 10
1.3.6 结构化数据的访问与整合 ???????????????????????????????????????????????????????????????????????? 10
1.4 本书结构 ?????????????????????????????????????????????????????????????????????????????????????????????????????? 10
1.5 本章小结 ?????????????????????????????????????????????????????????????????????????????????????????????????????? 12
第2 章 数据管理需求与挑战 ??????????????????????????????????????????????????????????????????????????????????? 13
2.1 高能物理??????????????????????????????????????????????????????????????????????????????????????????????????????? 13
2.1.1 大型强子对撞机 ????????????????????????????????????????????????????????????????????????????????????? 13
2.1.2 北京正负电子对撞机 ?????????????????????????????????????????????????????????????????????????????? 14
2.1.3 羊八井宇宙线实验 ????????????????????????????????????????????????????????????????????????????????? 15
2.2 生物信息??????????????????????????????????????????????????????????????????????????????????????????????????????? 16
2.2.1 生物信息学 ??????????????????????????????????????????????????????????????????????????????????????????? 16
2.2.2 基因研究 ??????????????????????????????????????????????????????????????????????????????????????????????? 17
2.3 虚拟天文台 ??????????????????????????????????????????????????????????????????????????????????????????????????? 17
2.4 地质地理??????????????????????????????????????????????????????????????????????????????????????????????????????? 19
2.5 其他领域??????????????????????????????????????????????????????????????????????????????????????????????????????? 20
2.6 数据管理挑战 ??????????????????????????????????????????????????????????????????????????????????????????????? 21
2.7 本章小结??????????????????????????????????????????????????????????????????????????????????????????????????????? 21
第二篇 非结构化数据管理
第3 章 数据管理体系结构 ??????????????????????????????????????????????????????????????????????????????????????? 25
3.1 引言 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????? 25
3.2 科学数据管理的体系结构 ???????????????????????????????????????????????????????????????????????????? 26
3.3 本章小结??????????????????????????????????????????????????????????????????????????????????????????????????????? 28
参考文献 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????? 28
第4 章 数据存储 ?????????????????????????????????????????????????????????????????????????????????????????????????????? 29
4.1 引言 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????? 29
4.2 存储技术概述 ??????????????????????????????????????????????????????????????????????????????????????????????? 30
4.3 分布式文件系统 ??????????????????????????????????????????????????????????????????????????????????????????? 36
4.3.1 Lustre 文件系统 ????????????????????????????????????????????????????????????????????????????????????? 36
4.3.2 Gluster 文件系统 ???????????????????????????????????????????????????????????????????????????????????? 38
4.3.3 全局并行文件系统(GPFS) ?????????????????????????????????????????????????????????????????????? 49
4.3.4 Panasas 文件系统 ??????????????????????????????????????????????????????????????????????????????????? 51
4.3.5 并行虚拟文件系统(PVFS) ?????????????????????????????????????????????????????????????????????? 53
4.4 分级存储系统 ??????????????????????????????????????????????????????????????????????????????????????????????? 54
4.4.1 CASTOR 存储系统 ????????????????????????????????????????????????????????????????????????????????? 55
4.4.2 dCache 存储系统 ???????????????????????????????????????????????????????????????????????????????????? 58
4.4.3 dCache 的副本机制 ????????????????????????????????????????????????????????????????????????????????? 60
4.5 云存储技术 ??????????????????????????????????????????????????????????????????????????????????????????????????? 62
4.5.1 亚马逊云存储服务S3 ????????????????????????????????????????????????????????????????????????????? 62
4.5.2 微软的Azure 存储 ?????????????????????????????????????????????????????????????????????????????????? 65
4.5.3 Hadoop 的开源云存储解决方案 ???????????????????????????????????????????????????????????????? 65
4.5.4 Openstack 的Swift ?????????????????????????????????????????????????????????????????????????????????? 69
4.5.5 Nimbus 的Cumulus 云存储 ?????????????????????????????????????????????????????????????????????? 70
4.5.6 云存储技术在科学数据管理中的应用 ??????????????????????????????????????????????????????? 71
4.6 数据备份系统 ??????????????????????????????????????????????????????????????????????????????????????????????? 73
4.6.1 常见备份技术 ???????????????????????????????????????????????????????????????????????????????????????? 73
4.6.2 备份系统的基本结构 ?????????????????????????????????????????????????????????????????????????????? 76
4.7 本章小结??????????????????????????????????????????????????????????????????????????????????????????????????????? 78
参考文献 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????? 78
第5 章 元数据管理 ?????????????????????????????????????????????????????????????????????????????????????????????????? 80
5.1 简介 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????? 80
5.1.1 LFC ?????????????????????????????????????????????????????????????????????????????????????????????????????? 81
5.1.2 AMGA ?????????????????????????????????????????????????????????????????????????????????????????????????? 85
5.1.3 DQ2 ????????????????????????????????????????????????????????????????????????????????????????????????????? 87
5.2 副本管理??????????????????????????????????????????????????????????????????????????????????????????????????????? 90
5.2.1 副本创建 ??????????????????????????????????????????????????????????????????????????????????????????????? 92
5.2.2 副本选择 ??????????????????????????????????????????????????????????????????????????????????????????????? 94
5.2.3 副本删除 ??????????????????????????????????????????????????????????????????????????????????????????????? 95
5.2.4 副本定位 ??????????????????????????????????????????????????????????????????????????????????????????????? 95
5.2.5 副本一致性 ??????????????????????????????????????????????????????????????????????????????????????????? 96
5.2.6 副本安全性 ??????????????????????????????????????????????????????????????????????????????????????????? 97
5.3 本章小结??????????????????????????????????????????????????????????????????????????????????????????????????????? 98
参考文献 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????? 98
第6 章 数据传输 ???????????????????????????????????????????????????????????????????????????????????????????????????? 100
6.1 GridFTP ?????????????????????????????????????????????????????????????????????????????????????????????????????? 101
6.1.1 GridFTP 的功能特性 ????????????????????????????????????????????????????????????????????????????? 101
6.1.2 GridFTP 的API ???????????????????????????????????????????????????????????????????????????????????? 103
6.2 bbFTP ????????????????????????????????????????????????????????????????????????????????????????????????????????? 104
6.2.1 与FTP 和SSH 的比较 ?????????????????????????????????????????????????????????????????????????? 104
6.2.2 bbFTP 的安装 ?????????????????????????????????????????????????????????????????????????????????????? 105
6.2.3 bbFTP 的选项命令 ???????????????????????????????????????????????????????????????????????????????? 105
6.3 可靠文件传输 ????????????????????????????????????????????????????????????????????????????????????????????? 106
6.3.1 可靠性含义 ????????????????????????????????????????????????????????????????????????????????????????? 106
6.3.2 组成结构 ????????????????????????????????????????????????????????????????????????????????????????????? 106
6.4 副本定位????????????????????????????????????????????????????????????????????????????????????????????????????? 108
6.4.1 RLS 的几点要素 ?????????????????????????????????????????????????????????????????????????????????? 109
6.4.2 Giggle 框架 ????????????????????????????????????????????????????????????????????????????????????????? 109
6.5 FTS ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 111
6.5.1 通道 ??????????????????????????????????????????????????????????????????????????????????????????????????? 111
6.5.2 代理 ??????????????????????????????????????????????????????????????????????????????????????????????????? 112
6.6 PheDex ???????????????????????????????????????????????????????????????????????????????????????????????????????? 112
6.6.1 PheDex 的结构 ????????????????????????????????????????????????????????????????????????????????????? 113
6.6.2 PheDex 的运行 ????????????????????????????????????????????????????????????????????????????????????? 114
6.7 BES 数据传输系统 ????????????????????????????????????????????????????????????????????????????????????? 114
6.7.1 主要特性 ????????????????????????????????????????????????????????????????????????????????????????????? 115
6.7.2 组成结构 ????????????????????????????????????????????????????????????????????????????????????????????? 115
6.7.3 实际应用 ????????????????????????????????????????????????????????????????????????????????????????????? 117
6.8 本章小结????????????????????????????????????????????????????????????????????????????????????????????????????? 118
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 118
第7 章 存储资源管理????????????????????????????????????????????????????????????????????????????????????????????? 120
7.1 简介 ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 120
7.2 SRM ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 121
7.2.1 应用场景 ????????????????????????????????????????????????????????????????????????????????????????????? 121
7.2.2 SRM 在网格体系中的定位 ???????????????????????????????????????????????????????????????????? 124
7.2.3 SRM 在网格中的优势 ??????????????????????????????????????????????????????????????????????????? 127
7.3 文件管理????????????????????????????????????????????????????????????????????????????????????????????????????? 128
7.3.1 永久文件和稳定临时文件 ?????????????????????????????????????????????????????????????????????? 129
7.3.2 持久文件 ????????????????????????????????????????????????????????????????????????????????????????????? 129
7.4 空间管理????????????????????????????????????????????????????????????????????????????????????????????????????? 130
7.4.1 空间类型 ????????????????????????????????????????????????????????????????????????????????????????????? 130
7.4.2 “最大努力”空间 ????????????????????????????????????????????????????????????????????????????????? 131
7.4.3 分配文件到空间 ??????????????????????????????????????????????????????????????????????????????????? 132
7.5 其他重要的SRM 概念 ??????????????????????????????????????????????????????????????????????????????? 132
7.5.1 传输协议协商 ?????????????????????????????????????????????????????????????????????????????????????? 132
7.5.2 其他协商和行为广告 ???????????????????????????????????????????????????????????????????????????? 133
7.5.3 源路径、传输路径和站点路径 ??????????????????????????????????????????????????????????????? 133
7.5.4 PIN 文件的语义 ??????????????????????????????????????????????????????????????????????????????????? 134
7.6 SRM 实现实例 ???????????????????????????????????????????????????????????????????????????????????????????? 136
7.6.1 使用SRM 管理海量存储系统 ???????????????????????????????????????????????????????????????? 137
7.6.2 SRM 提供的健壮的文件复制 ????????????????????????????????????????????????????????????????? 138
7.6.3 通过SRM 向存储系统提供GridFTP 接口 ???????????????????????????????????????????????? 139
7.7 本章小结????????????????????????????????????????????????????????????????????????????????????????????????????? 140
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 140
第8 章 数据管理标准????????????????????????????????????????????????????????????????????????????????????????????? 142
8.1 传输协议????????????????????????????????????????????????????????????????????????????????????????????????????? 142
8.1.1 FTP ???????????????????????????????????????????????????????????????????????????????????????????????????? 142
8.1.2 HTTP ?????????????????????????????????????????????????????????????????????????????????????????????????? 144
8.1.3 GridFTP ?????????????????????????????????????????????????????????????????????????????????????????????? 148
8.1.4 Restful Web 服务 ?????????????????????????????????????????????????????????????????????????????????? 149
8.1.5 WebDAV????????????????????????????????????????????????????????????????????????????????????????????? 150
8.1.6 S3 ?????????????????????????????????????????????????????????????????????????????????????????????????????? 151
8.2 管理接口标准 ????????????????????????????????????????????????????????????????????????????????????????????? 153
8.2.1 SRM ??????????????????????????????????????????????????????????????????????????????????????????????????? 153
8.2.2 OCCI ?????????????????????????????????????????????????????????????????????????????????????????????????? 155
8.2.3 CDMI ????????????????????????????????????????????????????????????????????????????????????????????????? 158
8.2.4 Simple Cloud API ????????????????????????????????????????????????????????????????????????????????? 160
8.3 本章小结????????????????????????????????????????????????????????????????????????????????????????????????????? 161
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 161
第三篇 结构化数据管理
第9 章 OGSA-DAI ????????????????????????????????????????????????????????????????????????????????????????????????? 165
9.1 概述 ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 165
9.2 基本架构????????????????????????????????????????????????????????????????????????????????????????????????????? 166
9.3 工作流与活动 ????????????????????????????????????????????????????????????????????????????????????????????? 170
9.4 使用OGSA-DAI ????????????????????????????????????????????????????????????????????????????????????????? 172
9.4.1 部署数据资源 ?????????????????????????????????????????????????????????????????????????????????????? 172
9.4.2 活动的使用 ????????????????????????????????????????????????????????????????????????????????????????? 173
9.4.3 工作流的使用 ?????????????????????????????????????????????????????????????????????????????????????? 174
9.5 本章小结????????????????????????????????????????????????????????????????????????????????????????????????????? 176
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 176
第10 章 异构数据库整合 ??????????????????????????????????????????????????????????????????????????????????????? 177
10.1 基本概念 ??????????????????????????????????????????????????????????????????????????????????????????????????? 177
10.2 系统结构 ??????????????????????????????????????????????????????????????????????????????????????????????????? 178
10.3 对外功能和接口 ??????????????????????????????????????????????????????????????????????????????????????? 179
10.3.1 数据提供者接口 ????????????????????????????????????????????????????????????????????????????????? 180
10.3.2 开发人员接口 ???????????????????????????????????????????????????????????????????????????????????? 180
10.4 内部工作流程 ??????????????????????????????????????????????????????????????????????????????????????????? 182
10.5 异构数据库整合系统的软件结构 ???????????????????????????????????????????????????????????? 184
10.5.1 概述 ?????????????????????????????????????????????????????????????????????????????????????????????????? 184
10.5.2 核心服务类 ???????????????????????????????????????????????????????????????????????????????????????? 185
10.5.3 虚拟活动管理类 ????????????????????????????????????????????????????????????????????????????????? 186
10.5.4 虚拟活动对象类 ????????????????????????????????????????????????????????????????????????????????? 186
10.5.5 执行引擎类 ???????????????????????????????????????????????????????????????????????????????????????? 187
10.5.6 SQL 解析器类 ???????????????????????????????????????????????????????????????????????????????????? 188
10.5.7 物理活动管理类 ????????????????????????????????????????????????????????????????????????????????? 191
10.6 参考实现:CGSP HDB ???????????????????????????????????????????????????????????????????????????? 192
10.6.1 概述 ?????????????????????????????????????????????????????????????????????????????????????????????????? 192
10.6.2 虚拟表及其支持的数据类型 ????????????????????????????????????????????????????????????????? 193
10.6.3 映射表和数据类型映射 ??????????????????????????????????????????????????????????????????????? 194
10.6.4 执行文档和响应文档示例 ???????????????????????????????????????????????????????????????????? 197
10.7 本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????? 197
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 198
第四篇 应 用 实 例
第11 章 高能物理网格数据管理 ??????????????????????????????????????????????????????????????????????????? 201
11.1 网格技术在高能物理领域的应用 ???????????????????????????????????????????????????????????? 201
11.2 高能物理网格中数据服务管理 ???????????????????????????????????????????????????????????????? 202
11.3 高能物理网格中数据服务组件 ???????????????????????????????????????????????????????????????? 203
11.3.1 元数据服务器 ???????????????????????????????????????????????????????????????????????????????????? 204
11.3.2 数据集管理系统 ????????????????????????????????????????????????????????????????????????????????? 205
11.4 一个具体的工作流程 ???????????????????????????????????????????????????????????????????????????????? 206
11.5 本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????? 207
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 207
第12 章 虚拟天文台数据管理 ??????????????????????????????????????????????????????????????????????????????? 209
12.1 网格技术在天文领域的应用 ???????????????????????????????????????????????????????????????????? 209
12.2 虚拟天文台中数据服务组件 ???????????????????????????????????????????????????????????????????? 211
12.2.1 天文数据的特点 ????????????????????????????????????????????????????????????????????????????????? 211
12.2.2 开放网格服务架构的数据访问与集成 ??????????????????????????????????????????????????? 212
12.2.3 虚拟天文台数据访问服务 ???????????????????????????????????????????????????????????????????? 213
12.3 数据服务举例 ??????????????????????????????????????????????????????????????????????????????????????????? 214
12.3.1 中国虚拟天文台VO-DAS ???????????????????????????????????????????????????????????????????? 214
12.3.2 VO-DAS 的系统集成 ?????????????????????????????????????????????????????????????????????????? 216
12.4 本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????? 218
参考文献 ????????????????????????????????????????????????????????????????????????????????????????????????????????????? 218