Flink可以运行在所有类unix环境中例如LinuxMac OS 和Windows一般企业中使用Flink基于的都是Linux环境后期我们进行Flink搭建和其他框架整合也是基于linux环境使用的是Centos7.6版本JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)本小节主要针对Flink集群使用到的基础环境进行配置不再从零搭建Centos系统另外对后续整合使用到的技术框架也一并进行搭建如果你目前已经有对应的基础环境可以忽略本小节Linux及各个搭建组件使用版本如下表所示。Centos7节点配置这里准备5台Linux节点节点名称和ip信息如下我们可以从头搭建各个Linux节点也可以基于已有快照创建各个Linux节点。这里默认已经创建好以上各个节点并且每个节点分配资源为4核2G下面进行节点的其他配置。配置各个节点的Ip启动每台节点在对应的节点路径/etc/sysconfig/network-scripts下配置ifg-ens33文件配置IP注意不同机器可能此文件名称不同一般以ifcfg-xxx命名以配置ip 192.168.179.4为例ifcfg-ens33配置内容如下TYPEEthernetBOOTPROTOstatic #使用static配置DEFROUTEyesPEERDNSyesPEERROUTESyesIPV4_FAILURE_FATALnoIPV6INITyesIPV6_AUTOCONFyesIPV6_DEFROUTEyesIPV6_PEERDNSyesIPV6_PEERROUTESyesIPV6_FAILURE_FATALnoONBOOTyes #开机启用本配置IPADDR192.168.179.4 #静态IPGATEWAY192.168.179.2 #默认网关NETMASK255.255.255.0 #子网掩码DNS1192.168.179.2 #DNS配置 可以与默认网关相同配置主机名在每台节点上修改/etc/hostname,配置对应的主机名称参照节点IP与节点名称对照表分别为node1、node2、node3、node4、node5。配置完成后 需要重启 各个节点才能正常显示各个主机名。关闭防火墙关闭SELinuxSELinux就是Security-Enhanced Linux的简称安全加强的linux。传统的linux权限是对文件和目录的owner, group和other的rwx进行控制而SELinux采用的是委任式访问控制也就是控制一个进程对具体文件系统上面的文件和目录的访问SELinux规定了很多的规则来决定哪个进程可以访问哪些文件和目录。虽然SELinux很好用但是在多数情况我们还是将其关闭因为在不了解其机制的情况下使用SELinux会导致软件安装或者应用部署失败。在每台节点/etc/selinux/config中将SELINUXenforcing改成SELINUXdisabled即可。配置阿里云yum源设置Linux 系统显示中文/英文设置自动更新时间设置各个节点之间的ip映射每个节点都有自己的IP和主机名各个节点默认进行文件传递或通信时需要使用对应的ip进行通信后续为了方便各个节点之间的通信和文件传递可以配置各个节点名称与ip之间的映射节点之间通信时可以直接写对应的主机名称不必写复杂的ip。每台节点具体操作按照以下操作进行。进入每台节点的/etc/hosts下修改hosts文件vim /etc/hosts:配置节点之间免密访问安装JDK安装MySQL节点划分安装MySQL配置MySQLMysql密码忘记处理安装Zookeeper节点划分安装Zookeeper安装HDFS节点划分安装配置HDFSconfiguration property !--这里配置逻辑名称可以随意写 -- namedfs.nameservices/name valuemycluster/value /property property !-- 禁用权限 -- namedfs.permissions.enabled/name valuefalse/value /property property !-- 配置namenode 的名称多个用逗号分割 -- namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property property !-- dfs.namenode.rpc-address.[nameservice ID].[name node ID] namenode 所在服务器名称和RPC监听端口号 -- namedfs.namenode.rpc-address.mycluster.nn1/name valuenode1:8020/value /property property !-- dfs.namenode.rpc-address.[nameservice ID].[name node ID] namenode 所在服务器名称和RPC监听端口号 -- namedfs.namenode.rpc-address.mycluster.nn2/name valuenode2:8020/value /property property !-- dfs.namenode.http-address.[nameservice ID].[name node ID] namenode 监听的HTTP协议端口 -- namedfs.namenode.http-address.mycluster.nn1/name valuenode1:50070/value /property property !-- dfs.namenode.http-address.[nameservice ID].[name node ID] namenode 监听的HTTP协议端口 -- namedfs.namenode.http-address.mycluster.nn2/name valuenode2:50070/value /property property !-- namenode 共享的编辑目录 journalnode 所在服务器名称和监听的端口 -- namedfs.namenode.shared.edits.dir/name valueqjournal://node3:8485;node4:8485;node5:8485/mycluster/value /property property !-- namenode高可用代理类 -- namedfs.client.failover.proxy.provider.mycluster/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property property !-- 使用ssh 免密码自动登录 -- namedfs.ha.fencing.methods/name valuesshfence/value /property property namedfs.ha.fencing.ssh.private-key-files/name value/root/.ssh/id_rsa/value /property property !-- journalnode 存储数据的地方 -- namedfs.journalnode.edits.dir/name value/opt/data/journal/node/local/data/value /property property !-- 配置namenode自动切换 -- namedfs.ha.automatic-failover.enabled/name valuetrue/value /property /configuration配置$HADOOP_HOME/etc/hadoop/yarn-site.xmlconfiguration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property property !-- 配置yarn为高可用 -- nameyarn.resourcemanager.ha.enabled/name valuetrue/value /property property !-- 集群的唯一标识 -- nameyarn.resourcemanager.cluster-id/name valuemycluster/value /property property !-- ResourceManager ID -- nameyarn.resourcemanager.ha.rm-ids/name valuerm1,rm2/value /property property !-- 指定ResourceManager 所在的节点 -- nameyarn.resourcemanager.hostname.rm1/name valuenode1/value /property property !-- 指定ResourceManager 所在的节点 -- nameyarn.resourcemanager.hostname.rm2/name valuenode2/value /property property !-- 指定ResourceManager Http监听的节点 -- nameyarn.resourcemanager.webapp.address.rm1/name valuenode1:8088/value /property property !-- 指定ResourceManager Http监听的节点 -- nameyarn.resourcemanager.webapp.address.rm2/name valuenode2:8088/value /property property !-- 指定zookeeper所在的节点 -- nameyarn.resourcemanager.zk-address/name valuenode3:2181,node4:2181,node5:2181/value /property property !-- 关闭虚拟内存检查 -- nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /property !-- 启用节点的内容和CPU自动检测最小内存为1G -- !--property nameyarn.nodemanager.resource.detect-hardware-capabilities/name valuetrue/value /property-- /configuration初始化HDFS#在node3,node4,node5节点上启动zookeeper zkServer.sh start #在node1上格式化zookeeper [rootnode1 ~]# hdfs zkfc -formatZK #在每台journalnode中启动所有的journalnode,这里就是node3,node4,node5节点上启动 hdfs --daemon start journalnode #在node1中格式化namenode [rootnode1 ~]# hdfs namenode -format #在node1中启动namenode,以便同步其他namenode [rootnode1 ~]# hdfs --daemon start namenode #高可用模式配置namenode,使用下列命令来同步namenode(在需要同步的namenode中执行这里就是在node2上执行): [rootnode2 software]# hdfs namenode -bootstrapStandby启动及停止#node1上启动HDFS,启动Yarn[rootnode1 sbin]# start-dfs.sh[rootnode1 sbin]# start-yarn.sh注意以上也可以使用start-all.sh命令启动Hadoop集群。#停止集群[rootnode1 ~]# stop-dfs.sh[rootnode1 ~]# stop-yarn.sh注意以上也可以使用 stop-all.sh 停止集群。访问WebUI
