本书分10章，全面介绍了Hadoop云技术及其在光网络研究方面的真实案例。读者通过本书的学习，可以掌握搭建及维护Hadoop平台的相关知识和技术。
样章试读
目录
- 目录
第1章 云计算概述 1
1.1 云计算的定义 1
1.1.1 灵活资源分配 2
1.1.2 按需收费 2
1.1.3 虚拟化 2
1.1.4 网络化 2
1.1.5 高可靠性 3
1.2 云计算的分类 3
1.2.1 按技术路线分类 3
1.2.2 按服务对象分类 4
1.2.3 按资源封装的层次分类 5
1.3 云计算发展简介 6
1.3.1 发展历程 6
1.3.2 国内现状 7
1.3.3 国外现状 7
1.4 云计算技术 8
1.4.1 编程模式 8
1.4.2 虚拟化技术 9
1.4.3 存储技术 9
1.4.4 云计算平台管理技术 10
1.5 小结 10
第2章 Hadoop简介 11
2.1 Hadoop起源 11
2.2 Hadoop发展历程 11
2.3 Apache Hadoop项目及其结构 12
2.4 Hadoop常用项目介绍 14
2.5 Hadoop的衍化版本 16
2.5.1 Cloudera 16
2.5.2 Transwarp17
2.6 小结 17
第3章 MapReduce18
3.1 MapReduce简介 18
3.2 MapReduce架构 19
3.3 MapReduce的工作机制 20
3.3.1 MapReduce作业运行机制 20
3.3.2 MapReduce容错机制 21
3.4 MapReduce编程实例 22
3.5 第二代计算框架YARN 24
3.5.1 YARN的设计 24
3.5.2 YARN的组件 25
3.6 小结 25
第4章 Hadoop分布式文件系统 26
4.1 HDFS简介 26
4.2 HDFS架构 26
4.3 HDFS容错机制 28
4.4 HDFS备份规则 29
4.4.1 放置策略 29
4.4.2 流水式复制 29
4.5 HDFS权限管理 29
4.5.1 HDFS用户身份认证 30
4.5.2 超级用户 30
4.5.3 文件权限管理 30
4.6 小结 31
第5章 Hadoop案例分析 32
5.1 互联网企业——Yahoo 、百度、阿里、腾讯 32
5.1.1 Yahoo—HortonworkS32
5.1.2 百度——百度云 33
5.1.3 阿里巴巴——阿里云 33
5.1.4 腾讯——腾讯云 34
5.2 智慧城市——贵阳 35
5.3 电子商务——京东 36
5.4 国内外旅游业 38
5.4.1 旅游搜索网站Fare Cast 38
5.4.2 途牛旅游网 38
5.5 小结 39
第6章 Hadoop集群实验 40
6.1 安装VMware ESXi 6.5 平台 40
6.2 安装Ubuntu 16.04 系统 45
6.3 Hadoop系统运行环境 54
6.3.1 设置主机名 54
6.3.2 设置网络 54
6.3.3 安装JDK 56
6.3.4 配置系统环境变量 58
6.3.5 配置SSH免密登录 59
6.4 Hadoop集群部署 62
6.4.1 单节点模式Hadoop系统安装 63
6.4.2 伪分布模式Hadoop系统安装 64
6.4.3 完全分布式Hadoop系统安装 65
6.4.4 启动及测试Hadoop集群 68
6.5 HDFS命令行 73
6.6 Hive部署 74
6.6.1 MySQL 安装 75
6.6.2 Hive安装 76
6.6.3 启动及测试Hive77
6.7 ZooKeeper和HBase部署 77
6.7.1 ZooKeeper安装 78
6.7.2 启动ZooKeeper 79
6.7.3 HBase部署 79
6.7.4 启动HBase 81
6.8 Eclipse环境 82
6.8.1 配置工作环境 83
6.8.2 开发初步 89
6.8.3 运行WordCount程序 92
6.9 Hadoop集群运维 94
6.10 小结 94
第7章 Hadoop系统的优化 95
7.1 影响Hadoop系统性能的因素 95
7.2 监测工具 96
7.2.1 Chukwa 96
7.2.2 Ganglia 收集器 96
7.2.3 NagioS96
7.3 基于性能基线的Hadoop系统性能优化 97
7.3.1 调优过程 97
7.3.2 甄别资源瓶颈 97
7.4 MapReduce调优 98
7.4.1 Map任务调优 98
7.4.2 Reduce任务调优 99
7.5 常用调优手段 100
7.5.1 面向MapReduce应用程序的调优手段 100
7.5.2 面向作业的调优手段 101
7.5.3 面向Hadoop系统参数的调优手段 102
7.6 小结 103
第8章 Hadoop在光网络优化中的应用 104
8.1 装箱问题 104
8.2 光网络中的装箱问题 105
8.3 WDM光网络 106
8.3.1 路由和波长分配 108
8.3.2 绿色光网络的优化设计 110
8.4 弹性光网络 112
8.4.1 基于SBPP共享保护策略的路由和频谱分配 113
8.4.2 基于自适应FEC分配策略的路由和频谱分配 115
8.5 Hadoop平台执行多次业务打乱策略 116
8.6 结果分析 117
8.6.1 路由和波长分配 117
8.6.2 绿色光网络的优化设计 118
8.6.3 基于SBPP共享保护策略的路由和频谱分配 119
8.6.4 基于自适应FEC分配策略的路由和频谱分配 119
8.7 小结 120
第9章 Hadoop的Java API 121
9.1 HadoopAPI中常用包 121
9.1.1 org.apache.Hadoop.conf包 121
9.1.2 org.apache.Hadoop.fS包 122
9.2 MapReduceAPI 123
9.2.1 Mapper类 124
9.2.2 Reducer类 125
9.2.3 Driver 126
9.3 HDFSAPI 126
9.3.1 获取文件系统 127
9.3.2 创建文件或文件目录 127
9.3.3 删除文件或文件目录 128
9.3.4 写入和读取数据 128
9.3.5 上传和下载文件 128
9.3.6 显示HDFS中的文件 129
9.3.7 在Hadoop的环境之外配置文件系统 129
9.4 小结 129
第10章 Hadoop系统微型化和界面可视化 130
10.1 微型化 130
10.1.1 平台信息 131
10.1.2 性能 131
10.2 可视化 132
10.2.1 HDFS文件系统树区域 133
10.2.2 命令控制区域 133
10.2.3 命令行 134
10.2.4 任务状态可视化 135
10.2.5 菜单栏 135
10.2.6 云平台软件的使用 136
10.3 小结 144
附录 缩略语英汉对照表 145
参考文献 148
京公网安备 11010102004214号