当前位置: 首页 > news >正文

虚拟机Linux环境配置hadoop

需要准备的资源:VMware Workstation Pro-17.6.4,ubuntu-24.04.3,hadoop-3.2.4
进入linux,打开终端准备进行配置。
一、安装jdk8(旧版兼容性好)
sudo apt update
sudo apt install openjdk-8-jdk -y
二、配置java
(1)检验java是否安装完成
java -version
javac -version
(2)配置JAVA_HOME
1.打开环境变量配置文件
nano ~/.bashrc
2.在文件末尾补充

Java环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
3.保存并退出(按Ctrl+O→回车→Ctrl+X),然后执行以下命令让配置立即生效
source ~/.bashrc
4.验证JAVA_HOME是否生效
echo $JAVA_HOME
三、将hadoop文件下载到linux环境中
image
四、解压hadoop安装包
(1)打开终端,进入主文件夹:
cd ~
(2)创建 Hadoop 安装目录并解压:
sudo mkdir -p /usr/local/hadoop
sudo tar -zxvf hadoop-3.2.4.tar.gz -C /usr/local/hadoop --strip-components 1
(3)给当前用户赋予 Hadoop 目录的权限(避免后续操作权限报错)
sudo chown -R $USER:$USER /usr/local/hadoop
五、配置hadoop环境变量
(1)打开配置文件
nano ~/.bashrc
(2)在文件末尾粘贴以下内容

Hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
(3)保存并退出(按Ctrl+O→回车→Ctrl+X),然后让配置立即生效
source ~/.bashrc
六、配置hadoop核心文件
(1)进入hadoop配置目录
cd /usr/local/hadoop/etc/hadoop
(2)配置hadoop-env.sh
1.编辑hadoop-env.sh:
nano hadoop-env.sh
2.找到# export JAVA_HOME=这一行,替换为你的 Java 路径:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # 替换成你实际的Java路径
(3)配置core-site.xml
编辑core-site.xml,在标签内添加:

fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/tmp/hadoop-${user.name}

(4)配置hdfs-site.xml(设置 HDFS 副本数)
编辑hdfs-site.xml,在标签内添加(单机模式副本数设为 1):

dfs.replication
1


dfs.namenode.name.dir
${hadoop.tmp.dir}/dfs/name


dfs.datanode.data.dir
${hadoop.tmp.dir}/dfs/data

(5)配置yarn-site.xml(设置 YARN 资源管理)
编辑yarn-site.xml,在标签内添加:

yarn.resourcemanager.address
localhost:8032


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.webapp.address
localhost:8088

(6) 配置mapred-site.xml(关联 MapReduce 和 YARN)
编辑mapred-site.xml,在标签内添加:

mapreduce.framework.name
yarn

(7)设置 SSH 免密登录(Hadoop 依赖)
1.生成 SSH 密钥(一路回车默认即可):
ssh-keygen -t rsa
2.将公钥添加到授权列表:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3.赋予授权文件权限:
chmod 600 ~/.ssh/authorized_keys
4.测试免密登录(首次需输入yes确认):
ssh localhost
七、初始化 HDFS 并启动 Hadoop
(1)初始化 HDFS(仅首次执行,重复执行会清空数据):
hdfs namenode -format
(2)启动 HDFS 和 YARN 服务:
start-dfs.sh
start-yarn.sh
(3)验证 Hadoop 是否启动成功:
jps
(4)
(若出现以下进程,说明启动成功:
NameNode
DataNode
ResourceManager
NodeManager
SecondaryNameNode)image

http://www.gsyq.cn/news/193438.html

相关文章:

  • YOLOFuse云服务上线预告:在线训练与推理平台即将开放
  • 【Java毕设源码分享】基于springboot+vue的二手闲置交易系统的设计与实现(程序+文档+代码讲解+一条龙定制)
  • 为什么你的CUDA程序跑不快?,剖析C语言中内存拷贝的5大陷阱
  • 还在熬夜赶论文?9个免费AI工具帮你一键搞定开题与初稿! - 麟书学长
  • YOLOFuse变电站红外监测实战项目
  • YOLOFuse MySQL存储检测结果:结构化数据管理
  • 你真的会分配TPU任务吗?C语言级性能调优关键路径曝光
  • 单北斗GNSS大坝变形监测技术的发展与应用分析
  • 【TensorRT批处理性能飞跃】:C语言开发者不可错过的4个优化陷阱与对策
  • YOLOFuse移动端适配展望:Android/iOS端运行可能性
  • YOLOFuse RunPod部署指南:按小时计费弹性伸缩
  • YOLOFuse和原版YOLOv8有什么区别?双模态能力是关键
  • 2025 12月总结
  • YOLOFuse性能优化建议征集:让模型更快更小
  • YOLOFuse是否支持PID控制集成?机器人视觉应用前景
  • YOLOFuse用户认证机制设计:JWT Token权限管理
  • leetcode 830. Positions of Large Groups 较大分组的位置-耗时100%
  • YOLOFuse镜像使用指南:从推理到训练全流程详解
  • 数据安全迫在眉睫:C语言在存算一体系统中的可信执行环境构建指南
  • YOLOFuse RCAN 注意力增强超分模型集成测试
  • 全能数据转换工具:Excel to JSON by WTSolutions 全场景使用指南 Web应用 Excel插件 WPS插件 API接口 MCP Server
  • YOLOFuse实战教程:如何在复杂低光环境下提升目标检测精度
  • YOLOFuse在自动驾驶中的潜在应用:多传感器融合初探
  • 乌鲁木齐短视频运营公司哪家更靠谱?2025年终7家服务商横向评测与最终推荐! - 十大品牌推荐
  • YOLOFuse与Typora结合:用Markdown记录实验日志最佳实践
  • YOLOFuse租赁GPU划算吗?成本收益对比分析
  • YOLOFuse冒充红外数据技巧:单模态用户临时测试方案
  • 京东e卡回收新思路,速看! - 京顺回收
  • 静态分析不等于走形式!Clang结果精准解读,让Bug无处遁形
  • YOLOFuse FairMOT 嵌入式部署尝试