当前位置: 首页 > news >正文

Ambari安装Hadoop

Ambari界面安装Hadoop集群及其他的组件

Ambari的Web页面安装Hadoop

登入及定义集群名称

使用初始的:admin/admin账号登入到Ambari上,启动安装程序,之后输入集群的名称。
Ambari安装界面
定义集群名称

bigtop选择组件清单

在这一步选择默认的bigtop-3.3.0,也可根据需要自己列出清单以及将组件包上传至对应的repo上。
bigtop版本选择
这里配置的BaseUrl为之前搭建的私人仓库地址的路径。同时删除了其他的OS配置。
然后进入下一步。

配置FQDN和SSH

FQDN可按照在节点上的hosts清单去配置,如果点下一步的时候出现warring的弹窗,跳过即可。
而SSH的私钥可以在hadoop-app的root用户下~/.ssh/rsa_id获取

su - 
cat ~/.ssh/rsa_id#当然也可以将rsa_id这个私钥直接scp到本地,然后手动上传
scp ~/.ssh/rsa_id user@192.168.122.1:~\Desktop

FQDN与SSH

节点检测与组件选择

在上一步骤后,Ambari会去依据FQDN和SSH去尝试通信各节点,去确认各节点的存在。
节点出现不可连接的ERROR可通过点击红色或是黄色的标识来查看日志。

节点确认
在完成节点检查之后,需要选择自己所需的组件服务与功能,这里我选择了全部组件服务。
在选择之后,将组件服务在不同的节点上进行了简单分配。
组件选择
组件选服务分配
hadoop组件

配置各组件服务

下一步,需要配置各组件的数据库连接参数与用户。将之前使用的后端数据库的地址填写至对应的位置即可。在测试连接通过后,可进行下以一个组件的配置。其他的只需要配置好密码即可。
!!!可以尝试在数据库连接工具中尝试各组件的用户的连接,尤其是mysql数据库记得配置好在mysql.user下的host,使其与部署组件服务的节点一致,否则会在安装的时候提示失败!!!
组件服务参数1
组件服务参数2
组件服务参数3

组件自动安装

在组件安装时,会将之前所选择的组件和配置添加到对应的节点。本次安装时,在自动执行dnf install 相关的命令时概率返回fail transcation,导致当次安装失败,多重试几次即可。
但重复出现相同的问题时,需要仔细查看对应节点上的错误日志,找到原因。比如:安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
此问题在问题shooting已给出解决办法。
自动安装1
安装失败
(多次重试后,依旧报同样的错误,要仔细查看导致的原因)

安装完成

在结束上诉操作后,在启动服务时,可能会出现报错,可以根据错误日志找到具体原因,大多情况都是文件目录权限不足或是数据库的操作失败。使用acl添加权限或是调整数据库对应用户权限即可。
安装完成
(此处可见有些指标无法显示,具体解决可见问题shooting)
修复之后的界面:
指标修复

开启高可用

在HDFS和YARN中,可以在右上角的ACTION中找到对应的HA按钮,根据指引即可完成HADOOP的高可用模式。
高可用

问题shooting

安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.

引发原因:
在该结点的bigtop版本包里,没有配置hadoop-hdfs-dfsrouter

处理方法:
在/usr/lib/bigtop-select/distro-select路径下
leaves的字典中添加:"hadoop-hdfs-dfsrouter":"hadoop-hdfs",
aliases的字典中的hadoop-hdfs-server的列表中添加"hadoop-hdfs-dfsrouter"

监控面板的监控数据不全,在namenode的日志里提示:No live collector to send metrics to...

完整提示:
INFO timeline.HadoopTimelineMetricsSink (AbstractTimelineMetricsSink.java:getCurrentCollectorHost(311)) - No live collector to send metrics to. Metrics to be sent will be discarded. This message will be skipped for the next 20 times.

参考网站:
https://issues.apache.org/jira/browse/AMBARI-26435

引发原因:
jar包冲突

处理方法:
删除/usr/lib/ambari-metrics-collector/jakarta.ws.rs-api-2.1.6.jar
下载jsr311-api-1.1.1.jar
或直接从/usr/bigtop/3.3.0/usr/lib/hadoop/lib/jsr311-api-1.1.1.jar拷贝过来
至/usr/lib/ambari-metrics-collector路径下
然后重新启动ambari的组件

SOLR服务无法正常启动,页面无法正常打开

可查看对应的SOLR的日志,在/var/log/solr/solr-8983-console.log
有可能引发的原因:JDK版本不符合,关于GC的部分参数无效

解决方法:

1.降低jdk版本
2.修改GC相关的参数
在solr的Advanced的参数中修改对应的选项:

Solr GC log options:

-Xlog:gc*=info:file=gc.log:time,uptime,level,tags:filecount=15,filesize=200M

Solr GC Tune:

-XX:+UseG1GC -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=8 -XX:ConcGCThreads=4 -XX:ParallelGCThreads=4 -XX:+ParallelRefProcEnabled -XX:PretenureSizeThreshold=64m

solr-env template 中的GC_LOG_OPTS:

"{{solr_gc_log_opts}} -Xlog:gc:{{solr_log_dir}}/solr_gc.log"

http://www.gsyq.cn/news/17055.html

相关文章:

  • 数据仓库中的“时间旅行者”:深入理解渐变维度(SCD)与拉链表
  • MOVEit网络攻击波及普华永道与安永,供应链安全再响警钟
  • Penchick Online Mathematical Olympiad, Qualifying Test 1, III.4
  • 多区域多 VLAN 网络搭建与访问控制及服务器部署实验
  • Tina_Linux_系统软件 开发指南
  • 实用指南:C++ 建造者模式:简单易懂的设计模式解析
  • Python中的数据结构
  • [ Qt ] | 与环境相关的执行(二):键盘、定时器、窗口移动和大小
  • Python 中的链式操作——重点讲解链式调用
  • 04 APP 自动化- Appium toast 元素定位列表滑动 - 教程
  • 副本(Replica)在Elasticsearch中扮演什么角色? - 详解
  • 课程作业(10月8日)
  • 浅谈导数
  • NOI Linux 食用教程
  • 题解:P6162 [Cnoi2020] 四角链
  • sudo docker exec -it backend bash 以交互方式(interactive)进入正在运行的 Docker 容器的命令行环境 - 实践
  • 完整教程:MySQL 如何判断某个表中是否存在某个字段
  • 【使用JAVA调用deepseek】构建自能回复
  • 8.RV1126-OPENCV 视频中添加LOGO - 指南
  • 深入解析:pikachu通关教程-File Inclusion
  • 几个重要的偏微分方程
  • 虚拟机器人学习自然语言指令技术解析
  • 用 Haskell 实现英文数字验证码识别
  • 实用指南:【结构型模式】代理模式
  • 深入解析:Kotlin 中companion object {} 什么时候触发
  • libopenssl-1_0_0-devel-1.0.2p RPM 包安装教程(openSUSE/SLES x86_64)​
  • API异常信息如何实时发送到钉钉 - 详解
  • 实用指南:解决 xmlsec.InternalError: (-1, ‘lxml xmlsec libxml2 library version mismatch‘)
  • 高质量同人动画整理回顾记录的方式
  • 加拿大加密货币牌照:合规化加速数字资产成功