本书系统讲述以网络为基础的科学活动环境中的数据管理技术。全书由概论、非结构化数据管理、结构化数据管理、应用实例四大部分组成，包括数据管理背景、数据管理需求与挑战、数据管理体系结构、数据存储、元数据管理、数据传输、存储资源管理、数据管理标准、OGSA-DAI、异构数据库整合、高能物理网格数据管理、虚拟天文台数据管理12章。
样章试读
目录
- 目录
前言
第一篇 概论
第1章 数据管理背景 3
1.1 数据增长 3
1.2 数据管理目标 5
1.3 数据管理功能 6
1.3.1 数据存储 7
1.3.2 元数据管理 7
1.3.3 副本管理 8
1.3.4 数据传输管理 9
1.3.5 存储资源管理 10
1.3.6 结构化数据的访问与整合 10
1.4 本书结构 10
1.5 本章小结 12
第2章 数据管理需求与挑战 13
2.1 高能物理 13
2.1.1 大型强子对撞机 13
2.1.2 北京正负电子对撞机 14
2.1.3 羊八井宇宙线实验 15
2.2 生物信息 16
2.2.1 生物信息学 16
2.2.2 基因研究 17
2.3 虚拟天文台 17
2.4 地质地理 19
2.5 其他领域 20
2.6 数据管理挑战 21
2.7 本章小结 21
第二篇 非结构化数据管理
第3章 数据管理体系结构 25
3.1 引言 25
3.2 科学数据管理的体系结构 26
3.3 本章小结 28
参考文献 28
第4章 数据存储 29
4.1 引言 29
4.2 存储技术概述 30
4.3 分布式文件系统 36
4.3.1 Lustre文件系统 36
4.3.2 Gluster文件系统 38
4.3.3 全局并行文件系统(GPFS) 49
4.3.4 Panasas文件系统 51
4.3.5 并行虚拟文件系统(PVFS) 53
4.4 分级存储系统 54
4.4.1 CASTOR存储系统 55
4.4.2 dCache存储系统 58
4.4.3 dCache的副本机制 60
4.5 云存储技术 62
4.5.1 亚马逊云存储服务S3 62
4.5.2 微软的Azure存储 65
4.5.3 Hadoop的开源云存储解决方案 65
4.5.4 Openstack的Swift 69
4.5.5 Nimbus的Cumulus云存储 70
4.5.6 云存储技术在科学数据管理中的应用 71
4.6 数据备份系统 73
4.6.1 常见备份技术 73
4.6.2 备份系统的基本结构 76
4.7 本章小结 78
参考文献 78
第5章 元数据管理 80
5.1 简介 80
5.1.1 LFC 81
5.1.2 AMGA 85
5.1.3 DQ2 87
5.2 副本管理 90
5.2.1 副本创建 92
5.2.2 副本选择 94
5.2.3 副本删除 95
5.2.4 副本定位 95
5.2.5 副本一致性 96
5.2.6 副本安全性 97
5.3 本章小结 98
参考文献 98
第6章 数据传输 100
6.1 GridFTP 101
6.1.1 GridFTP的功能特性 101
6.1.2 GridFTP的API 103
6.2 bbFTP 104
6.2.1 与FTP和SSH的比较 104
6.2.2 bbFTP的安装 105
6.2.3 bbFTP的选项命令 105
6.3 可靠文件传输 106
6.3.1 可靠性含义 106
6.3.2 组成结构 106
6.4 副本定位 108
6.4.1 RLS的几点要素 109
6.4.2 Giggle框架 109
6.5 FTS 111
6.5.1 通道 111
6.5.2 代理 112
6.6 PheDex 112
6.6.1 PheDex的结构 113
6.6.2 PheDex的运行 114
6.7 BES数据传输系统 114
6.7.1 主要特性 115
6.7.2 组成结构 115
6.7.3 实际应用 117
6.8 本章小结 118
参考文献 118
第7章 存储资源管理 120
7.1 简介 120
7.2 SRM 121
7.2.1 应用场景 121
7.2.2 SRM在网格体系中的定位 124
7.2.3 SRM在网格中的优势 127
7.3 文件管理 128
7.3.1 永久文件和稳定临时文件 129
7.3.2 持久文件 129
7.4 空间管理 130
7.4.1 空间类型 130
7.4.2 “最大努力”空间 131
7.4.3 分配文件到空间 132
7.5 其他重要的SRM概念 132
7.5.1 传输协议协商 132
7.5.2 其他协商和行为广告 133
7.5.3 源路径、传输路径和站点路径 133
7.5.4 PIN文件的语义 134
7.6 SRM实现实例 136
7.6.1 使用SRM管理海量存储系统 137
7.6.2 SRM 提供的健壮的文件复制 138
7.6.3 通过SRM向存储系统提供GridFTP接口 139
7.7 本章小结 140
参考文献 140
第8章 数据管理标准 142
8.1 传输协议 142
8.1.1 FTP 142
8.1.2 HTTP 144
8.1.3 GridFTP 148
8.1.4 Restful Web服务 149
8.1.5 WebDAV 150
8.1.6 S3 151
8.2 管理接口标准 153
8.2.1 SRM 153
8.2.2 OCCI 155
8.2.3 CDMI 158
8.2.4 Simple Cloud API 160
8.3 本章小结 161
参考文献 161
第三篇 结构化数据管理
第9章 OGSA-DAI 165
9.1 概述 165
9.2 基本架构 166
9.3 工作流与活动 170
9.4 使用OGSA-DAI 172
9.4.1 部署数据资源 172
9.4.2 活动的使用 173
9.4.3 工作流的使用 174
9.5 本章小结 176
参考文献 176
第10章 异构数据库整合 177
10.1 基本概念 177
10.2 系统结构 178
10.3 对外功能和接口 179
10.3.1 数据提供者接口 180
10.3.2 开发人员接口 180
10.4 内部工作流程 182
10.5 异构数据库整合系统的软件结构 184
10.5.1 概述 184
10.5.2 核心服务类 185
10.5.3 虚拟活动管理类 186
10.5.4 虚拟活动对象类 186
10.5.5 执行引擎类 187
10.5.6 SQL解析器类 188
10.5.7 物理活动管理类 191
10.6 参考实现：CGSP HDB 192
10.6.1 概述 192
10.6.2 虚拟表及其支持的数据类型 193
10.6.3 映射表和数据类型映射 194
10.6.4 执行文档和响应文档示例 197
10.7 本章小结 197
参考文献 198
第四篇 应用实例
第11章 高能物理网格数据管理 201
11.1 网格技术在高能物理领域的应用 201
11.2 高能物理网格中数据服务管理 202
11.3 高能物理网格中数据服务组件 203
11.3.1 元数据服务器 204
11.3.2 数据集管理系统 205
11.4 一个具体的工作流程 206
11.5 本章小结 207
参考文献 207
第12章 虚拟天文台数据管理 209
12.1 网格技术在天文领域的应用 209
12.2 虚拟天文台中数据服务组件 211
12.2.1 天文数据的特点 211
12.2.2 开放网格服务架构的数据访问与集成 212
12.2.3 虚拟天文台数据访问服务 213
12.3 数据服务举例 214
12.3.1 中国虚拟天文台VO-DAS 214
12.3.2 VO-DAS的系统集成 216
12.4 本章小结 218
参考文献 218
京公网安备 11010102004214号