Hadoop1.x、Hadoop2.x、Hadoop3.x区别Hadoop1.x组成Hdfs数据存储Common辅助工具MapReduce计算资源调度Hadoop2.x组成HDFS数据存储Common辅助工具Yarn资源调度Mapreduce计算在Hadoop1.x时代Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度耦合性较大在Hadoop2.x时代增加了YarnYarn只负责资源的调度Mapreduce只负责运算。Hadoop3.x在组成上没有变化HDFS架构概述Hadoop Distributed FileSystem简称HDFS是一个分布式文件系统NamenodeNN记录每一个文件块存储的位置存储文件的元数据如文件名文件目录结构文件属性生成时间副本数文件权限以及每个文件的块列表和块所在的DataNode等DatanodeDN具体存储数据在本地文件系统存储文件块数据以及块数据的校验和2NNSecondary NameNode辅助Namenode工作每隔一段时间对Namenode元数据备份Yarn架构概述Yet Another Resource Negotiator简称YARN另一种资源协调者是Hadoop的资源管理器主要管理的就是CPU和内存ResourceManagerRM整个集群资源内存CPU等的老大NodeManagerNM单个节点服务器资源老大Container容器相当一台独立的服务器里面封装了任务运行所需要的资源如内存CPU磁盘网络等ApplicationMasterAM单个任务运行的老大任务在Container里面运行用完就可以释放更灵活说明客户端可以有多个集群上可以运行多个ApplicationMaster每个NodeManager上可以有多个Container到底可以运行多少个一个Container容器默认内存是1-8GMapreduce架构概述Mapreduce将计算过程分为两个阶段Map和ReduceMap阶段并行处理输入数据Reduce阶段对Map结果进行汇总