当前位置: 首页 > news >正文

软件工程学习日志2025.11.28

📋 实验内容概述

本次实验分为两大部分:Linux基础命令操作和Hadoop环境实践,旨在为后续大数据实验打下坚实的基础。

🎯 具体完成内容

一、Linux操作部分(2.5小时)

  1. 目录操作命令

成功掌握的cd命令操作

cd /usr/local # 切换到指定目录
cd .. # 返回上级目录
cd ~ # 返回用户主目录

ls命令查看文件列表

ls /usr # 查看/usr目录内容
ls -l /usr # 详细信息查看

  1. 文件与目录管理

目录创建与删除

mkdir /tmp/a # 创建单级目录
mkdir -p a1/a2/a3/a4 # 创建多级目录
rmdir a # 删除空目录
rmdir -p a1/a2/a3/a4 # 递归删除空目录

文件操作

cp ~/.bashrc /usr/bashrc1 # 复制并重命名
mkdir /tmp/test # 创建测试目录
cp -r /tmp/test /usr # 递归复制目录

  1. 文件内容查看
    cat ~/.bashrc # 查看文件全部内容
    tac ~/.bashrc # 反向查看内容
    more ~/.bashrc # 分页查看
    head -20 ~/.bashrc # 查看前20行
    tail -20 ~/.bashrc # 查看后20行

  2. 文件管理与权限
    touch /tmp/hello # 创建空文件
    sudo chown root /tmp/hello # 修改文件所有者
    find ~ -name ".bashrc" # 查找文件
    grep "examples" ~/.bashrc # 查找字符串

  3. 环境变量配置

编辑~/.bashrc文件,添加Java环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bashrc # 使配置生效
echo $JAVA_HOME # 验证配置

二、Hadoop操作部分(1.5小时)

  1. Hadoop服务管理

启动Hadoop服务

/usr/local/hadoop/sbin/start-dfs.sh

检查服务状态

jps

  1. HDFS基本操作

创建用户目录

hadoop fs -mkdir -p /user/hadoop

创建测试目录并查看

hadoop fs -mkdir /user/hadoop/test
hadoop fs -ls /user/hadoop

文件上传下载操作

hadoop fs -put ~/.bashrc /user/hadoop/test/
hadoop fs -ls /user/hadoop/test
hadoop fs -get /user/hadoop/test /usr/local/hadoop/

⚠️ 遇到的问题及解决方案

问题1:Hadoop安全模式阻碍操作
• 现象:执行HDFS操作时提示"Name node is in safe mode"

• 原因分析:NameNode启动时进行块检查,自动进入安全模式

• 解决方案:
hdfs dfsadmin -safemode get # 确认安全模式状态
hdfs dfsadmin -safemode leave # 退出安全模式

问题2:系统权限不足
• 现象:在系统目录操作时出现"Permission denied"错误

• 解决方案:合理使用sudo权限,理解Linux权限机制

问题3:环境变量不生效
• 现象:配置JAVA_HOME后,echo命令显示为空

• 解决方案:使用source命令重新加载配置

📊 技能掌握自评

技能类别 掌握程度 自信心 备注

Linux基础命令 90% ⭐⭐⭐⭐ 命令使用熟练

文件系统操作 85% ⭐⭐⭐⭐ 理解权限机制

环境变量配置 80% ⭐⭐⭐ 需要更多实践

Hadoop服务管理 75% ⭐⭐⭐ 初步掌握启动流程

HDFS基本操作 70% ⭐⭐⭐ 需要加强练习

💡 学习心得与收获

  1. 系统性理解:通过实验将零散的Linux命令串联成完整的工作流
  2. 问题解决能力:学会查看错误信息和分析问题根源
  3. 实践出真知:理论知识通过实际操作得到巩固和深化
  4. 细节重要性:环境配置和权限管理等细节对成功运行至关重要

🎯 明日学习计划

  1. 开始实验2 - HDFS深入操作学习
  2. 重点掌握HDFS Java API编程
  3. 理解HDFS架构原理和副本机制
  4. 完成文件读写的高级功能实现

🌟 今日亮点

• 成功独立解决Hadoop安全模式问题

• 建立了完整的Linux命令知识体系

• 实现了本地文件系统与HDFS的无缝交互

http://www.gsyq.cn/news/64374.html

相关文章:

  • 漏洞赏金猎人的深度侦察方法论 | 第一部分
  • 2025年11月晶振厂家推荐:权威榜单与选择指南
  • 2025年11月晶振厂家推荐榜单:知名品牌综合对比与选购指南
  • Day49(19)-F:\硕士阶段\Java\课程代码\后端\web-ai-code\web-ai-project02\tlias-web-management
  • 人工智能:用Gemini3一分钟生成手势控制3D粒子交互系统
  • 酶蛋白定向进化难题?泰克生物酵母展示服务,高效筛选“高活性酶”突变体
  • 上两个GPT写的锁,一个是文件锁,一个是Redis锁,写的那是相当的完美
  • 11月27号
  • 了解MySQL中的JSON_ARRAYAGG和JSON_OBJECT函数
  • 2025全年套管、绝缘套管、热收缩套管、热缩套管、热缩管厂家综合推荐与选购指南
  • MySQL的IFNULL()、ISNULL()、NULLIF()函数用法说明
  • Jenkins 已成过去式!新兴替代软件GitHub Actions即将崛起
  • P12828
  • XYD11.25模拟赛
  • day13-影刀RPA01
  • P2754
  • P10173
  • HTML表格列表
  • R语言包的几种安装形式
  • 详细介绍:计算机操作系统:用户层的I/O软件
  • 2025年11月上海水溶肥设备厂家推荐前十指南:专业选择与经验分享
  • 国内振动台厂家推荐:技术积累与行业服务能力观察
  • AI实现类人推理的技术探索
  • CSS基础--面向后端需要了解的前端知识
  • 2025年下半年江苏煤矿智能化/智能煤流系统开发公司综合推荐指南
  • 使用Postman进行接口测试、接口自动化和集成CI/CD
  • 信创环境下的一体化全栈智能运维
  • 28223E2125263E2121203E212424384722B0开
  • 【251128】CF2164 Div.1+2 vp 总结
  • 2025年四川成都奖杯奖牌定制、奖章证书定制、奖杯定制、水晶奖杯定制、奖牌定制品牌厂家企业推荐top5指南