当前位置: 首页 > news >正文

HDFS javaAPI-windows的IDEA中java文件在linux中的hadoop平台运行

运行前提

1、windows能ping通虚拟机IP地址【虚拟机网络改为桥接模式,改为固定IP】

2、Linux开放端口:9000,9870,8088【使用windows的 PowerShell,执行:Test-NetConnection IP地址 -Port 9000,需要修改linux中hadoop配置文件hdfs-site.xml和core-site.xml】

3、windows配置Hadoop本地依赖

4、Maven中pom.xml文件中引入和linux中hadoop集群版本一致的hadoop依赖

5、hdfs的RPC地址为:hdfs:ip地址:9000,不用9870网页端口

一、在IDEA的Maven项目中创建MkDirDemo类

(1)先确认目录结构(Maven 标准目录,必须按这个来)

项目根目录

└── src

├── main

│ └── java // 业务代码存放位置(创建Java文件在这里)

└── test

└── java // 单元测试代码存放位置

关键前提

main/java 文件夹必须是蓝色源码根目录,否则右键不会出现 Java Class 选项。

(2)hdfs java操作代码输入

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class MkdirDemo { public static FileSystem getFileSystem() throws IOException, URISyntaxException, InterruptedException { Configuration conf=new Configuration(); URI url=new URI("hdfs://192.168.17.128:9000"); final FileSystem fileSystem=FileSystem.get(url,conf,"root"); return fileSystem; } public static void list(String dir) throws Exception{ FileSystem fileSystem=getFileSystem(); FileStatus[] listStatus=fileSystem.listStatus(new Path(dir)); for(FileStatus fileStatus : listStatus){ boolean isDir=fileStatus.isDirectory(); String name=fileStatus.getPath().toString(); System.out.println(isDir+" "+name); } } public static void mkdir(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.mkdirs(new Path(path)); //遍历文件夹下的内容 list("/"); } public static void create(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.create(new Path(path)); //遍历文件夹下的内容 list("/"); } public static void delete(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.delete(new Path(path),true); //遍历文件夹下的内容 list("/"); } public static void main(String[] args) throws Exception{ mkdir("/bigdata"); // delete("bigdata"); // create("demo.txt"); } }

(3)验证pom.xml文件中hadoop依赖是否和linux中hadoop版本一致

在linux中查看hadoop版本

hadoop version

修改Maven项目中pom.xml中的hadoop依赖版本与其一致,并更新Maven

(4)确认 HDFS RPC 地址(关键)

Linux 执行查看代码连接地址:

hdfs getconf -confKey fs.defaultFS

# 输出应为 hdfs://192.168.17.128:9000

二、Windows 本地配置 Hadoop 运行环境(必做,否则报 winutils 缺失)

(1)下载 Windows 适配 hadoop 二进制包Hadoop3.x 下载对应 win 工具包,解压到无中文路径,例:D:\hadoop-3.x-win

内部 bin 文件夹包含 winutils.exe、hadoop.dll2.2 Windows 系统环境变量配置

(2)新建系统变量:HADOOP_HOME=D:\hadoop-3.x-win

(3)Path 新增:%HADOOP_HOME%\bin

(4)重启 IDEA(环境变量生效)

三、虚拟机 Linux 网络 & 防火墙配置

(1)虚拟机网络设置VMware/VirtualBox 网卡改为桥接模式,重启虚拟机,IP 固定为 192.168.17.128

linux中查看虚拟IP:

ip addr

Windows CMD 测试连通:ping 192.168.17.128

(2) Linux 放行端口bash运行

(1) 永久开放RPC 9000、网页9870、YARN8088

firewall-cmd --add-port=9000/tcp --permanent

firewall-cmd --add-port=9870/tcp --permanent

firewall-cmd --add-port=8088/tcp --permanent

firewall-cmd --reload

# 查看开放端口

firewall-cmd --list-ports

测试时:可以直接关闭防火墙systemctl stop firewalld

(2)修复hadoop配置【可以解决windows中ping通虚拟机IP地址访问9000端口】

进入 hadoop 配置目录

cd $HADOOP_HOME/etc/hadoop

修改配置一:vim hdfs-site.xml,添加下面配置,让 NameNode 监听全部网卡

<property>

<name>dfs.namenode.rpc-bind-host</name>

<value>0.0.0.0</value>

</property>

修改配置二: core-site.xml

错误写法(仅本地访问):

<value>hdfs://localhost:9000</value>

正确写法(绑定虚拟机实际 IP):

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.17.128:9000</value>

</property>

第三步:重启 Hadoop 集群生效

第四步:启动完再次执行 netstat -tlnp | grep 9000,确认 Local Address 变为 0.0.0.0:9000。

tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN 1234/java【正确】

0.0.0.0:9000 = 监听所有网卡,Windows 可以连接。

tcp 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1234/java【错误】

127.0.0.1:9000 = 仅本机 Linux 内部能访问,Windows 远程直接拒绝连接。

最后验证端口是否通:

windows中 PowerShell 端口检测工具(比 curl 更直观)

Win+X 打开 PowerShell,执行:

Test-NetConnection 192.168.17.128 -Port 9000

返回 TcpTestSucceeded: False = 端口被拒绝;True = 端口正常

四、执行

执行结果如下图所示:

http://www.gsyq.cn/news/1590281.html

相关文章:

  • HTTPS 性能优化完全指南:从原理、硬件到架构的全链路调优实战
  • 【题解】WebGoC绘图题目精选整合集
  • OpenCloudOS Server 9 安装 Nginx 完整指南
  • 如何在老旧硬件上安装Windows 11:FlyOOBE完整技术指南与实战方案
  • 假面真贷:一场信贷伪冒申请的“全链路“围剿
  • 2026实测:高性价比AI编程工具替代方案全梳理
  • AI培训行业变化:必火AI与传统机构对比
  • 2026年车规芯片产业交流平台实力盘点:TOP5车规级半导体展会精选分析
  • 2026亚洲EMBA客观测评:科学选型与优质项目解析
  • 2026必看|AI编程软件功能深度实测:从权限踩坑到全链路开发
  • Momentum1
  • (毕业必看)亲测靠谱的一键生成论文工具,毕业党收藏备用
  • Electron 跨平台移植实战:从 Windows 到 macOS 的适配与 DMG 打包全记录
  • 大语言模型推理加速:SPEQ位共享量化技术解析
  • 西宁砂石料能送到周边县城吗
  • DRAM、NAND Flash、HBM 未来发展前景
  • 5分钟搞定FanControl中文设置:Windows风扇控制彻底汉化指南
  • Appium跨界Windows桌面自动化测试:统一技术栈实战指南
  • 遗传算法第二部分:选择压力、交叉算子与自适应变异机制解析
  • 2026深度实测|Cursor高性价比平替实测!中文Vibe Coding迭代能力全对比
  • 当下即是:当手机成为此刻
  • 空间计算驱动的企业GEO实践:佛山园区与中山制造案例的技术路径分析
  • 01_visual_studio环境配置及C++基本概念入门
  • Docker第3天:Dockerfile、Compose、Swarm、Machine学习整理
  • 机器学习新手生存指南:从环境配置到模型部署的实操路径
  • 深度评测:企业采购Token服务商,一张表打满5个维度
  • 导师推荐!2026年首选推荐的专业降AI率工具
  • Qwen2.5-VL本地部署实战:边缘多模态推理全链路指南
  • 2026深度实测:vibe coding优势全解析——企业级AI开发选型实战指南
  • DolphinDB工业数据质量:完整性检查与修复