云计算的关键技术与应用实例
2010-1
人民邮电
王鹏
235
无
从并行计算、网格计算到云计算的发展历程，是一个技术从阳春白雪向下里巴人的发展过程。云计算使计算机上了云端，却让并行技术走进了人们的生活。云计算从定位上讲一开始就是面向所有普通用户的，所以云计算概念的提出马上得到了一线IT企业和大众的关注，使其成为一种改变现有计算机使用模式的革命性技术。Amazon的云计算系统在市场上的成功更是给了大家强大的信心。云计算的发展到底到了什么阶段？我们以王国维在他的《人间词话》中的一段话来描述，“古今之成大事业、大学问者，必经过三种之境界”。“昨夜西风凋碧树，独上高楼，望尽天涯路”，此第一境也。“衣带渐宽终不悔，为伊消得人憔悴”，此第二境也。“众里寻他千百度，蓦然回首，那人正在灯火阑珊处”，此第三境也。云计算发展到今天，我们认为应该还处于第一境界：望尽天涯路。前路漫漫，云计算最后将走向何方我们还不得而知，在技术上“你方唱罢我登场”，最后谁会成功我们也不得而知，现在正是需要大家开始以“衣带渐宽终不悔，为伊消得人憔悴”的精神去找寻云计算的“天涯之路”，相信终会到达“众里寻他千百度，蓦然回首，那人正在灯火阑珊处”的境界。云计算概念被提出以后并行计算技术和虚拟化技术成为其核心支撑技术，云计算将按需计算带给了普通的用户，也使并行计算成为普通用户方便使用的技术，而且并行计算中的“单一系统映像技术”实际也反映系统虚拟化的思想，所以从广义来看并行计算技术本身可能包括虚拟化技术，因而并行计算技术是云计算技术中的一个相当重要的技术基础。云计算及高性能计算的逐步普及使并行程序设计成为许多程序设计人员不可避免的一项艰巨工作，特别是云计算、个人高性能计算机（PHPC）等技术的深入发展，使许多技术人员开始从单机工作模式向并行计算模式转变。由于并行程序设计现在还没有一个很好的集成开发平台提供方便的组件给设计者使用，几乎所有的设计工作都需要从底层自己完成，因此并行程序的设计往往使很多程序设计者望而却步。MPI作为并行程序设计事实上的标准被广泛地应用于各个领域，不少企业及研究机构逐步认识到。MPI的重要性。
本书从并行计算切入，以全新的视角全面讲述了云计算技术，主要内容包括并行计算技术、云计算的关键技术、架构及实例、云计算与智能、云计算技术的竞争性分析等内容。 书中针对云计算中的大量技术架构、细节及战略问题提出了自己的看法和解决方案，并对云计算的底层技术给出了具体的模型化实现实例——云计算V0.01。这些内容大多数来自于我们近期在云计算领域的研究成果和开发实际项目经验。 全书内容丰富，知识跨度较大，对云计算技术人员、技术战略分析人员和爱好者均有重要的参考价值，也可供高等院校研究云计算和并行计算的研究者和同学作为参考资料及教材使用。
第1篇 从并行计算到云计算 第1章 并行计算与云计算 1.1 并行计算到云计算的演变 1.2 云计算需要定义吗？ 1.3 云计算是否是新瓶装旧酒 1.4 MPI与Hadoop，不同学科学者的选择 1.5 云计算与浏览器 第2章 MPI并行计算环境的建立 2.1 配置前的准备工作 2.2 挂载NFS文件系统 2.3 配置ssh实现MPI节点间用户的无密码访问 2.4 安装MPICH2 2.5 建立并行计算环境时的注意事项 第3章 并行计算时代的程序设计方法 3.1 最简单的并行程序 3.2 获取进程标志和机器名 3.3 有消息传递功能的并行程序 3.4 Monte Carlo法在并行程序设计中的应用 3.5 并行计算中节点间的Reduce操作 3.6 用MPI的6个基本函数实现Reduce函数功能 3.7 计算与通信的并行 3.8 节点间自定义复杂数据结构的传输 3.9 MPI与MySQL数据库的结合应用 3.10 设计MPI并行程序时的注意事项 第4章 从MPI走向云计算 4.1 MPI没有分布式文件系统支持 4.2 MPI无法应对节点的失效 4.3 假如用MPI来构建云计算系统 第2篇 云计算的关键技术 第5章 Map/Reduce是云计算的选择吗 5.1 Map/Reduce跨越50年的历史 5.2 实现Map/Reduce的C语言实例 5.3 采用MPI实现并行化的Map/Reduce功能 第6章 Hadoop技术 6.1 Hadoop与MPI在数据处理上的对比 6.2 Hadoop的主从式结构 6.3 Hadoop文件系统HDFS的前辈GFS 6.4 构建云文件系统需要解决的关键问题 6.5 云计算不相信节点服务器 6.6 揭密云计算架构下的典型服务器——Google服务器 第7章 Hadoop环境的建立 7.1 Hadoop配置环境 7.2 配置ssh实现Hadoop节点间用户的无密码访问 7.3 JDK的安装配置 7.4 Hadoop的安装配置 7.5 Hadoop中的Hello World 7.6 C语言程序在Hadoop上运行 第8章 动手做自己的云计算V0.01系统 8.1 系统总体分析 8.2 管理节点程序设计与分析 8.3 子节点程序分析 8.4 客户端API设计 8.5 客户端应用开发实例 第3篇 云计算应用实例 第9章 基于不可信服务器节点的云计算基础架构 第10章 云计算与智能 第11章 云计算企业之间的竞争性分析 后记 未来的计算——不确定性和隐含并行计算 附录 计算力的标准Linpack测试详细指南 参考文献
插图：（1）非阻塞数据发送函数：int MPI-Isend（void buf,int count，MPI-Datatype datatype，int dest，int tag，MPI-Comm comm，MPI-Request request）。参数描述：buf为数据发送缓冲区；datatype为MPI定义的数据类型；dest为目标进程号；tag为消息标志；comm为通信域；request为非阻塞数据传输对象，在程序中用MPI Request类型定义。该函数调用后启动数据发送并且不等待数据发送成功而立即返回，非阻塞数据发送函比阻塞数据发送函数只多一个MPI-Request参数，用于检测数据非阻塞数据发送的完成状态。（2）非阻塞数据接收函数：int MPI Irecv（void buf,int count，MPI-Datatype datatype，int source，int tag，MPI-Comm comm，MPI_Request request）。参数描述：buf为数据接收缓冲区；datatype为MPI定义的数据类型；source为数据来源的进程号；tag为消息标志；comm为通信域；request为非阻塞数据传输对象，在程序中用MPI类型定义 Request该函数调用后启动数据接收并且不等待数据发送成功而立即返回。（3）等待非阻塞数据传输完成：int MPI-Wait（MPI-Request*request，MPI-Status*status）。参数描述：request为非阻塞数据传输对象，status为返回状态。该函数调用后直到数据传输完成后才返回，并释放该通信对象，调用该函数后数据传输一定是完成了的，所以我们在使用数据缓冲区前可以调用该函数来保证数据已成功传输。
云计算技术的创新是应用技术和架构技术的创新，离彻底的技术变革还是有很长的一段距离。云计算之后未来的计算技术要走向何方，从单机到并行计算、网格计算再到云计算，计算技术的逐步前进使人类拥有了前所未有的信息处理能力，然而要实现真正的计算智能以计算机的简单叠加是不可能最后解决问题的，由不确定性所导致的隐含并行性，也许是一个思路。计算技术的发展也许会走出这么一个轨迹：单机计算、并行计算、网络计算、云计算、…、隐含并行计算。我们永远需要创新地去思考，技术的发展是没有止境的。隐含并行性（Implicit：Parallelism）这一时常出现在计算机算法中的精灵，一直被计算机学者所忽视，隐含并行性的存在使一些算法具有神奇的并行搜索能力和复杂问题的求解能力。我们在对遗传算法隐含并行性以及物理学中不确定性理论研究的基础上发现：隐含并行性存在于大量的智能算法中，正是由于隐含并行性的存在，使这类算法具备很强的解空间搜索能力。这一发现使我们意识到算法的隐含并行可能是一把解开人工智能奥秘的钥匙，对算法隐含并行性出现的物理本质进行解释，将有助于我们从一个新的视角进一步了解人工智能产生的机制。自然界的发展，人类从C、H、O原子进化到高级智能生命体的过程，无不昭示着我们的大自然本身就是一个具有极强隐含并行能力的系统。无独有偶，我们发现不只是遗传算法，大量的自然算法如模拟退火算法、蚁群算法、神经网络算法、量子算法都具有对解空间的高效搜索能力，这些算法通过对大自然的模仿都具备了较强的信息搜索能力，从某种程度上实现了对智能行为的模拟。更为巧合的是这些算法无一例外的都采用了概率的方法，通过概率方法即使算法系统处于一种不确定的状态。自然界的这种不确定性状态在1900年提出的量子论中的迭加原理和海森堡测不准原理得到了证明，这说明大自然从本质上讲是一个不确定的系统，我们无法对大自然实施准确的测量，因而不确定性也是大自然能实现并行进化的原因，如量子计算机利用迭加态所构成的概率系统可以实现超强的并行计算能力，这一点提示我们得到以下猜想：算法的隐含并行性的出现与算法中采用概率方法构造的不确定性系统有直接关系，正是由于不确定性导致了算法出现隐含并行性这一现象。
“云计算技术”从各种学术解释和争论的大雅之堂走入“寻常百姓家”，是自王鹏博士的《云计算的关键技术和应用实例》开始。 ——《中国贸易报社》副社长刘德辉目前，几乎所有与IT相关的个人和组织都在探讨“云计算”这个新兴的行业热点，各大IT厂商和学术界纷纷提出自己的观点、理论、技术和产品。初次涉及这一领域的读者可能会有茫然无措的感觉，所以有必要从最基本的一些概念、知识和实例开始普及。本书为读者打开了一扇通往“云计算”的便捷之门。 ——EMC大中华区技术解决方案中心教育推广经理全球网络存储工业协会(中国)教育委员会副主席王永康本书将云计算以务实的方式展示到我们面前。特别是在书里提到的“云计算不信任节点服务器”的观点，以不稳定的计算节点构建出稳定的云计算系统，从理论上让云计算摆脱了高昂的硬件费用问题，这对云计算的普及、让云计算进入实用化提供了一条新的道路。“旧时王谢堂前燕，飞入寻常百姓家”，相信本书的出版必将推动云计算服务在实用化上的进程。 ——《软件报》专栏撰稿人、应用服务器专家黄华峰王博士的《云计算的关键技术与应用实例》一书，从技术架构上给出了自己的云计算实践和解决方案，使技术人员能够了解云计算的背后故事和技术细节；企业用户阅读本书可以更好地了解云计算的概念、云计算对现有技术架构所带来的影响、如何使自己私有企业技术架构平滑地过渡到云计算架构。 ——企业应用资深技术顾问、SaaS架构开发设计资深技术顾问邢波涛本书高屋建瓴地从并行计算走向云计算，给我们在云计算的实施应用中指明了方向。王鹏博士在Google的云计算方面有深入的研究，使普通读者学习云计算有了一个好的切入点。 ——企业云计算网云计算中心强大的网络计算能力使得同方云终端作为网络计算终端成为可能。 ——清华同方华北区销售经理秦川
《云计算的关键技术与应用实例》：引爆云计算热潮《走进云计算》作者最新力作揭示云计算的关键技术数十位顶尖专家强力推荐给出具体的模型化实现实例和解决方法
无
一本学习云计算技术的好书
里面讲的很具体，很适合云计算初学者对于概念的理解，以及简单的编程。给本科学生看看，让他们也做做相关的实验。对hadoop介绍的不多。
对于并行计算和分布式的都感兴趣的可以看看，但是介绍的不是很深入，可以使之融会贯通，但是要具体深入，还请参阅其他书籍。
书不错，很多实例，正在学习中！！！
这本书都看完了，具体的细节还是不懂！
很不错的书，就是光盘里都没有书本相关的代码。
内容不错，是一本很系统的指导书
老师推荐的，应该不错~质量挺好的
国人的书就是不怎么的，没办法以前买来主要是为了毕业设计的
这本书不错，老公正在认证阅读中。
可以看看，入门的书不错的
i think this books help me understand cloud much more
帮朋友买的,觉得不错
帮单位买的，非专业··看不懂···
很好，入门原理，值得一读
这本快确实不错，而且是货到后付款，这样让我更加放心。
云计算是目前一个非常热门的词汇,各个公司都有自己独特的技术实现.这本书的作者根据自己的研究体会,从并行计算入手讲解云计算的关键计算,并且也提供了部分实现的代码,对于云计算的入门很有帮助.正因为是作者的本人体会之作,使得此书对云计算的讲解自成体系,是本难得的国内讲解云计算的入门书.当然也仅仅是入门书.
可以配合《走进云计算》进行学习
作者介绍云计算加入了自己的思考，挺有思想的。不足就是云计算介绍的不够详细。
还不错，很多实例很有用。
价格稍贵，但是内容由浅入深，还算不错的。
当个介绍型的书看看挺好，概括的挺不错，感觉有兴趣就继续买别的书再看看。
这本书代码比较多，还要配合Linux系统，稍后再看
买回来还没有看！看到里面的语言，并不是我懂的！有时间再看！
讲的满全的
概念的理解，某些章节还是比较不错的
书写的很不错，我才刚开始看。。。写的蛮有意思的！
作为云计算概念普及来说内容足够了，但是对于需要深入研究的人，不建议买这本。
帮朋友买的书，没怎么看过，朋友只是想了解一下云计算的概念，但是本书涉及开发的代码较多，不是很合适
当介绍云计算的资料看
不错，对了解一下云计算知识有帮助，当科普读物吧
讲得比较深，呵呵，需要进一步研究。。
货是能很好的送达，但是书里面为什么没有发票啊，希望能给我寄来发票，我这本书单位要入库的。。。。
不得不说，代码篇幅有点多。。。还行。很多讲的MPI
讲的东西华而不实，基本就在讲flex RIA
很多是在抄谷歌文件系统的论文了……对开发私有云没有太多帮助
很多关于技术实现的内容和实例 作为入门比较深
书太薄，深度也不够，总的来说不值这价
质量很好，但是就是邮政的送货太慢了
书还行，但纸张不好啊。人民邮电的书怎么这本就这么不给力？？？