Google云计算执行过程

Google云计算执行过程

云计算服务方式多种多样，通过对Google云计算架构及技术的理解，在此我们给出用户将要执行的程序或处理的问题提交云计算的平台Hadoop，其执行过程如图3-6所示。

图3-6  云计算执行过程

如图3-6所示的Google云计算执行过程包括以下步骤。

（1）将要执行的MPI程序复制到Hadoop框架中的Master和每一台Worker机器中。

（2）Master选择由哪些Worker机器来执行Map程序与Reduce程序。

（3）分配所有的数据区块到执行Map程序的Worker机器中进行Map（切割成小块数据）。

（4）将Map后的结果存入Worker机器。

（5）执行Reduce程序的Worker机器，远程读取每一份Map结果，进行混合、汇整与排序，同时执行Reduce程序。

（6）将结果输出给用户（开发者）。

在云计算中为了保证计算和存储等操作的完整性，充分利用MapReduce的分布和可靠特性，在数据上传和下载过程中根据各Worker节点在指定时间内反馈的信息判断节点的状态是正常还是死亡，若节点死亡则将其负责的任务分配给别的节点，确保文件数据的完整性。