高可用性的HDFS
2012-5
清华大学出版社
文艾，王磊 著
371
433
无
《高可用性的hdfs—hadoop分布式文件系统深度实践》专注于hadoop分布式文件系统（hdfs）的主流ha解决方案，内容包括：hdfs元数据解析、hadoop元数据备份方案、hadoop
backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name
node等。其中有关backup
node方案及avatarnode方案的内容是本书重点，尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍，同时还总结了各种异常情况下avatarnode的各种处理方案。
《高可用性的hdfs—hadoop分布式文件系统深度实践》从代码入手并结合情景分析、案例解说对hdfs的元数据以及主流的hdfs
ha解决方案的运行机制进行了深入剖析，力求使读者在解决问题时做到心中有数，不仅知其然还知其所以然。
本书光盘包含本书部分操作的视频教程以及所有源代码、脚本等开发文件。
《高可用性的hdfs—hadoop分布式文件系统深度实践》读者主要为云计算相关领域的研发人员、云计算系统管理维护人员，也适合作为高校研究生和高年级本科生的专业课辅助教材。
文艾，解放军理工大学讲师，7年Linux分布式系统开发经验，完成科研项目10余项，发表学术论文9篇，获得部级科技进步奖3项。自2008年关注云计算方向以来，参与完成了《云计算》教材编写，负责首届全国高校教师暑期云计算培训班实验课程教学，与国内外知名企业合作，完成多项云计算科研项目及培训任务，其中《面向3G视频监控的云存储系统》在2009年中国首届云计算大会上作了大会演示。对GFS、HDFS、MooseFS等云存储系统的运行原理和实现机制进行过深入研究，此外感兴趣的方向还包括分布式智能视频处理，目前的主要研究方向为云计算高可用性及云存储系统。王磊，南京云创存储科技有限公司云计算工程师，专注于分布式平台下任务调度和可靠性。发表多篇分布式环境下任务调度和可靠性论文。深度分析Hadoop源代码，熟悉运行机制和原理，掌握HDFS具体流程细节，深入理解分布式计算理论及Hadoop的运行机制和原理，熟悉HDFS、MapReduce和Hbase的具体实现方式。在HDFS、MapReduce的数据一致性方面和故障恢复上也有深入研究，并提供高效自动恢复方案。参与开发了多个与Hadoop相关的大型项目和产品，热衷于改进Hadoop代码以及研究如何提高Hadoop的可靠性。
第1章 hdfs ha及解决方案
1.1 hdfs系统架构
1.2 ha定义
1.3 hdfs ha原因分析及应对措施
1.3.1 可靠性
1.3.2 可维护性
1.4 现有hdfs ha解决方案
1.4.1 hadoop的元数据备份方案
1.4.2 hadoop的secondarynamenode方案
1.4.3 hadoop的checkpoint ode方案
1.4.4 hadoop的backupnode方案
1.4.5 drdb方案
1.4.6 facebook的avatarnode方案
1.5 方案优缺点比较
第2章 hdfs元数据解析
2.1 概述
2.2 内存元数据结构
2.2.1 inode
2.2.2 block
2.2.3 blockinfo和datanodedescriptor
2.2.4 小结
2.2.5 代码分析——元数据结构
2.3 磁盘元数据文件
2.4 format情景分析
2.5 元数据应用场景分析
第3章 hadoop的元数据备份方案
3.1 运行机制分析
3.1.1 namenode启动加载元数据情景分析
3.1.2 元数据更新及日志写入情景分析
3.1.3 checkpoint过程情景分析
3.1.4 元数据可靠性机制
3.1.5 元数据一致性机制
3.2 使用说明
第4章 hadoop的backup node方案
4.1 backup node概述
4.1.1 系统架构
4.1.2 使用原则
4.1.3 优缺点
4.2 运行机制分析
4.2.1 启动流程
4.2.2 元数据操作情景分析
4.2.3 日志池（journal spool）机制
4.2.4 故障切换机制
4.3 实验方案说明
4.4 构建实验环境
4.4.1 网络拓扑
4.4.2 系统安装及配置
4.4.3 安装jdk
4.4.4 虚拟机集群架设
4.4.5 namenode安装及配置
4.4.6 backup node安装及配置
4.4.7 data node安装及配置
4.4.8 clients安装及配置
4.5 异常解决方案
4.5.1 异常情况分析
4.5.2 namenode配置
4.5.3 backup node配置
4.5.4 data node配置
4.5.5 namenode宕机切换实验
4.5.6 namenode宕机读写测试
第5章 avatarnode运行机制
5.1 方案说明
5.1.1 系统架构
5.1.2 思路分析
5.1.3 性能数据
5.2 元数据分析
5.2.1 类fsnamesystem
5.2.2 类fsdirectory
5.2.3 avatarnode的磁盘元数据文件
5.3 avatarnode primary启动过程
5.4 avatarnode standby启动过程
5.4.1 avatarnode的构造方法
5.4.2 standby线程的run()方法
5.4.3 ingest线程的run()方法
5.4.4 ingest线程的ingestfsedits ()方法
5.4.5 standby线程的docheckpoint()方法
5.5 用户操作情景分析
5.5.1 创建目录情景分析
5.5.2 创建文件情景分析
5.6 avatarnode standby故障切换过程
5.7 元数据一致性保证机制
5.7.1 元数据目录树信息
5.7.2 data node与block数据块映射信息
5.8 block更新同步问题
5.8.1 问题描述
5.8.2 结论
5.8.3 源码分析
第6章 avatarnode使用
6.1 方案说明
6.1.1 网络拓扑
6.1.2 操作系统安装及配置
6.2 使用avatar打补丁版本
6.2.1 hadoop源码联机build
6.2.2 hadoop源码本地build
6.2.3 nfs服务器构建
6.2.4 avatar分发与部署
6.2.5 primary（namenode0）节点配置
6.2.7 data node节点配置
6.2.8 client节点配置
6.2.9 创建目录
6.2.10 挂载nfs
6.2.11 启动ucarp
6.2.12 格式化
6.2.13 系统启动
6.2.14 检查
6.2.15 namenode失效切换写文件实验
6.2.16 namenode失效切换读文件实验
6.3 avatar facebook版本的使用
6.3.1 hadoop facebook版本安装
6.3.2 节点配置
6.3.3 启动hdfs
6.3.4 namenode失效切换
第7章 avatarnode异常解决方案
7.1 测试环境
7.2 primary失效
7.2.1 解决方案
7.2.2 写操作实验步骤
7.2.3 改进写操作机制
7.2.4 读操作实验步骤
7.2.5 小结
7.3 standby失效
7.4 nfs失效（数据未损坏）
7.4.1 解决方案
7.4.2 写操作实验步骤
7.4.3 读操作实验步骤
7.4.4 小结
7.5 nfs失效（数据已损坏）
7.5.1 解决方案
7.5.2 写操作实验步骤
7.5.3 读操作实验步骤
7.5.4 小结
7.6 primary先失效，nfs后失效（数据未损坏）
7.6.1 解决方案
7.6.2 写操作实验步骤
7.6.3 读操作实验步骤
7.6.4 小结
7.7 primary先失效（数据未损坏），nfs后失效（数据损坏）
7.7.1 解决方案
7.7.2 写操作实验步骤
7.7.3 读操作实验步骤
7.7.4 小结
7.8 nfs先失效（数据未损坏），primary后失效
7.8.1 解决方案
7.8.2 写操作实验步骤
7.8.3 读操作实验步骤
7.8.4 小结
7.9 nfs先失效（数据损坏），primary后失效（数据损坏）
7.9.1 解决方案
7.9.2 写操作实验步骤
7.9.3 读操作实验步骤
7.9.4 小结
7.10 实验结论
第8章 cloudera ha namenode使用
8.1 ha namenode说明
8.2 cdh4b1版本hdfs集群配置
8.2.1 虚拟机安装
8.2.2 nn1配置
8.2.3 dn1~dn3配置
8.2.4 hdfs集群构建
8.3 ha namenode配置
8.3.1 nn1配置
8.3.2 其他节点配置
8.4 ha namenode使用
8.4.1 启动ha hdfs集群
8.4.2 第1次failover
8.4.3 模拟写操作
8.4.4 模拟active name node失效，第2次failover
8.3.5 模拟新的standby namenode加入
8.5 小结
《高可用性的HDFS:Hadoop分布式文件系统深度实践》编辑推荐：如果您是一位Hadoop集群管理维护人员，请阅读本书，它将向您展示当前主流的HDFS HA解决方案，通过文字说明和视频展示这些方案的实现机制和操作细节，使您能够在最短的时间内消化和吸收这些技术，您可以根据自己的需要选择和部署实施最合适的HA方案。如果您是一位Hadoop应用开发者，请阅读《高可用性的HDFS:Hadoop分布式文件系统深度实践》，您将会在此寻找到如何与HDFS的HA相结合，编写出更为健壮的应用程序的答案。如果您是一位分布式文件系统研发人员，请阅读《高可用性的HDFS:Hadoop分布式文件系统深度实践》，它将向您深入剖析HDFS这一最有影响力的开源云计算分布式存储系统的各种HA方案及其实现机制。如果您是一位云计算技术的爱好者，请阅读《高可用性的HDFS:Hadoop分布式文件系统深度实践》，它会从零开始，一步一步地带您掌握云计算相关技术的基本操作，并加深概念的理解，为您日后深入云计算技术打下基础。
无
1.对HDFS元数据的理论分析清楚有深度，应该对我深入HDFS有帮助，要知道HDFS的HA可是这些机制应用的集大成者，选择它作为切入点，来深入学习HDFS应该不错。
2.内容不错，HA的方方面面都有，可以看得出来，很多是作者实践经验的总结，而且有视频和操作细节，自学方便。
3.排版也赞一个，读起来感觉不错
4.是不是粗制滥造，一看内容便知道，支持作者用心写的原创好书。
实践强、很实用 结合代码讲原理、剖析深入 光盘视频齐全,所有步骤和脚本都有 是本学习Hadoop的 好书
貌似是最新的关于Hadoop的技术书籍哦。经朋友推荐，发现真的不错。正好有个hadoop的培训，能赶上先熟悉一下知识。光盘里面一看都塞的满满的可见实践的内容真的不少，应该是本很好的技术书籍，希望能好好学习～
从源码分析HDFS，实践理论结合
不错的一本书，根据本书可以熟悉了解HDFS
有实际例子，有视频教学，很不错，想学hadoop的同学有福了
书是关于HA技术的几种解决方案，说得都十分仔细、生动。书的实践性很强，书中的经验总结对学习的朋友很有用。光盘的视频齐全,所有步骤和脚本都有。
了解hdfs的入门教材
简明易懂，由浅入深，很适合深入hadoop学习。
最新的HA技术、 实践强、 实用性、经验的总结 结合代码讲原理、剖析深入 光盘视频齐全,所有步骤和脚本都有
很好，不论是入门级还是中高级 都是很好的一本参考书，针对每个版本，不同的产品都研究很全面，详细。在云计算领域，是一本值得收藏和品读的好书
分布式文件系统，讲的很好
书中包含最新的HA技术，实践性很强，书中的经验总结对学习的朋友很有用。光盘的视频齐全,所有步骤和脚本都有。
光盘视频齐全,所有步骤和脚本都有结合代码讲原理、剖析深入
本书有深度，有内涵，把当前的热点问题HA分析的透彻，支持
内容还没看，粗略翻了下，感觉代码比较多，可能比较有助于新手了解吧实践把
是本实践的好书
实用手册+光盘；
很好。很详细的一本书
这本不错，适合初学者，比较容易懂
当当真给力，上午下的单晚上就收到了！深圳银捷速递的快递哥就更加给力了，让人觉得就是一个爽字了得！问：晚上你们还送啊？ 答：怕白天不在家！
这书讲得不错！
还没仔细看呢，书不错，喜欢
很好，很强大，很有用。。。。。。。
对于部署hdfs文件系统进行了源码级的讲解和示范，值得一看
学习分布式存储
书的质量很好，就是说的配光盘的，结果没有发现光盘，致电咨询后，立即同意退货，让我再次下单。快递第二天也就过来拿货了，继续等待第二次的货了。总体来说比较满意，主要是服务态度比较好。
目前还没有看，但是应该不错的
很好的东西，我喜欢
比较详细，国人的书偏重应用，不过可以降低学习成本，快速应用不错
给老公买的 正学习中 印刷有点差强人意
这一部期待的看看啊！
还可以吧，在有些扩展就好了。
操作范例交完善，但是理论略嫌不足，如果对HDFS设计思想和原理图做一定的分析可能效果更好.
还没看呢，希望能对我理解hadoop有帮助
可以看着内容，深度不够。运营的人看看，还不错。
光盘有问题，读不出来。其他的还不错
我感觉这本书一般，全是操作性东西，对我老说意义不大；
感觉内容一般， 对自己还是有些用处。
感觉内容不太多的样子
Cookbook类型的指导书籍，入门是够用了。
内容比较泛泛，语言组织混乱。什么元数据就是数据的数据，说的很不透彻还出现了好几次。。。对整个HDFS的讲解很不透彻，不适用于初学者。参考价值比较低
还不错，赠送的光盘没有声音，真无语了，而且不能回看，你就那么喜欢exe的视频文件格式？搞得我不得不反翻录，真无语了
刚开始学hadoop的时候感觉看不懂，后来对hadoop有所了解后， 想回头看HDFS的一些深入操作，拿到这本书看， 发现上当了。。。
新书到了没有外皮包装，后面的光盘也失踪了，已经申请退货了。
书有好大的味道，包装看着不行
还没看，但是看了标题，似乎与目录内容有点出入，希望是我的错觉！
可能是本身该书的定位层次稍高，偏重应用，对hdfs本身的知识深度不够。
虽然不是想象中那样好，但还是可以的，这个需要了解hadoop再看
内容比较少，但是操作性还是有的，对于等不起hadoop2.0的人来说，还是很有帮助的。
讲解相当详细
hdfs的好书
活动时候买划算，迟早派的上用途
这本书很好呀！
对HDFS文件系统源码解析