详细介绍：Hadoop

Hadoop 是 Apache 基金会开发的开源分布式系统基础架构，专为海量数据存储与计算设计。其核心架构与特性如下：

一、核心组件与设计理念

1. HDFS（分布式文件系统）

   • 功能：存储超大规模材料集（TB/PB级），凭借数据分块（默认128MB）和副本机制（默认3副本）保障可靠性。
   • 特性：高容错性、高吞吐量，适合流式数据访问（一次写入多次读取），但不支撑文件随机修改。
   • 架构：主从模式，包含管理元数据的NameNode和存储实际数据块的DataNode。
     

2. MapReduce（计算框架）

   • 原理：将任务拆分为Map阶段（并行处理信息分片）和Reduce阶段（汇总结果），完成分布式批处理。
   • 局限：延迟较高，不适用实时计算场景。

3. YARN（资源调度器）

   • 统一管理集群资源（CPU/内存），支持多计算框架（如MapReduce、Spark）并发运行。

二、关键技术优势

• 容错性