外部表（EXTERNAL_TABLE）Hive 借用数据，删表不删数据

外部表（EXTERNAL_TABLE）的核心价值在于数据独立于Hive存在，允许Hive"借用"HDFS上已有的数据，删除表时不会影响原始数据。

---

主要使用场景包括：

1）多引擎共享数据（Hive/Spark/Presto共用）；

2）外部系统（如Flume）实时写入的数据；

3）已有特定目录结构的数据；

4）需要保留原始数据的ETL过程；

5）长期保存的原始数据管理；

6）数据湖架构中的视图映射。

---

与内部表相比，外部表适合原始数据、共享数据和持久化数据场景，而内部表更适合临时数据和中间结果。

---

关键区别在于：内部表删除时会连带删除数据，外部表仅删除元数据。

外部表（EXTERNAL_TABLE）的具体使用场景有哪些

外部表的核心价值：数据独立于 Hive 存在

一句话理解：外部表让 Hive 可以"借用"HDFS 上已有的数据，删除 Hive 表时不会删掉原始数据。

一、外部表 vs 内部表快速回顾

二、外部表的具体使用场景

场景1：数据被多个引擎共享

问题：同一份数据，Hive 要用，Spark 要用，Presto 也要用。

text

┌─────────────────────────────────────────────────────────┐ │ HDFS 上的原始数据（/data/logs/） │ └─────────────────────────────────────────────────────────┘ ↓ ↓ ↓ ┌────────┐ ┌────────┐ ┌────────┐ │ Hive │ │ Spark │ │Presto │ └────────┘ └────────┘ └────────┘

解决方案：创建外部表

sql

-- 多个引擎共用同一份数据，创建外部表 create external table logs( log_time string, user_id int, action string ) partitioned by (dt string) location '/data/logs/'; -- 指定 HDFS 上的数据位置

好处：如果 Hive 中删除了这个表，其他引擎（Spark、Presto）还能正常使用数据。

场景2：数据由外部系统生产

问题：数据是通过 Flume、Logstash 等工具实时写入 HDFS 的。

bash

# Flume 实时写入日志到 HDFS /data/flume/events/2024-01-01/event_0001.avro /data/flume/events/2024-01-01/event_0002.avro /data/flume/events/2024-01-02/event_0001.avro

解决方案：用外部表读取这些数据

sql

create external table events( event_id string, event_type string, user_id int, event_time timestamp ) partitioned by (dt string) stored as avro location '/data/flume/events/';

好处：

• Hive 可以随时查询这些数据

• Flume 可以继续写入，互不干扰

• 误删 Hive 表不会影响 Flume 的数据采集

场景3：数据已经是特定目录结构

问题：ETL 团队已经按规范把数据存放在 HDFS 上，目录结构是固定的。

text

/data/ ├── sales/ │ ├── 2024-01-01/ │ │ └── sales.parquet │ ├── 2024-01-02/ │ │ └── sales.parquet │ └── 2024-01-03/ │ └── sales.parquet

解决方案：创建外部表，直接映射已有目录

sql

create external table sales( order_id string, amount double, user_id int ) partitioned by (dt string) stored as parquet location '/data/sales/'; -- 添加已有分区 alter table sales add partition(dt='2024-01-01') location '/data/sales/2024-01-01/'; alter table sales add partition(dt='2024-01-02') location '/data/sales/2024-01-02/'; alter table sales add partition(dt='2024-01-03') location '/data/sales/2024-01-03/';

场景4：数据需要被清洗后重新存储

问题：原始数据是 JSON 格式，需要清洗后存成 Parquet 格式。

sql

-- 1. 外部表：指向原始 JSON 数据（只读） create external table raw_logs( log string ) location '/data/raw/json_logs/'; -- 2. 内部表：存储清洗后的结果 create table cleaned_logs( log_time timestamp, user_id int, action string ) stored as parquet; -- 3. 清洗数据 insert into cleaned_logs select get_json_object(log, '$.time') as log_time, get_json_object(log, '$.user_id') as user_id, get_json_object(log, '$.action') as action from raw_logs;

好处：

• 原始数据（外部表）永远保留，可以重新清洗

• 清洗后的数据（内部表）可以随时删除重建

场景5：数据生命周期管理

问题：原始数据要保留很久（如 3 年），但 Hive 表可能随时重建。

sql

-- 原始数据用外部表，永远不删数据 create external table raw_order( order_id string, order_time timestamp, amount double ) partitioned by (year int, month int) location '/data/raw/order/';

sql

-- 应用层用内部表，删了也不影响原始数据 create table app_order as select order_id, order_time, amount from raw_order where amount > 100;

好处：

• 原始数据（外部表）：只读、永久保留、多团队共享

• 临时数据（内部表）：用完就删，不占空间

场景6：Hive 表只是数据湖的"视图"

问题：公司数据湖已经有完善的数据目录，Hive 只是其中一个查询引擎。

text

数据湖（HDFS/S3）目录结构： /s3/company/ ├── bronze/ # 原始数据 ├── silver/ # 清洗后数据 └── gold/ # 聚合后数据

解决方案：用外部表映射各个层级

sql

-- 青铜层（原始数据）- 外部表 create external table bronze_clickstream(...) location '/s3/company/bronze/clickstream/'; -- 白银层（清洗后）- 外部表 create external table silver_user_behavior(...) location '/s3/company/silver/user_behavior/'; -- 黄金层（聚合结果）- 外部表或内部表 create external table gold_daily_stats(...) location '/s3/company/gold/daily_stats/';

三、什么时候用内部表？

四、什么时候用外部表？

五、课堂笔记中的练习解读

sql

-- 练习：创建外部表 create external table t_waibu(id int) row format delimited fields terminated by '\t';

这个场景是什么意思？

外部表t_waibu的数据文件应该在 HDFS 上的某个已有位置。如果没有指定location，数据会存在默认的/user/hive/warehouse/下，但drop table时仍然只删元数据，不删数据文件。

真实场景：假设你有一个生产系统每天往/data/prod/目录写入数据，你可以：

sql

create external table prod_data( id int, name string, value double ) location '/data/prod/';

然后 Hive 就能查询这些数据，删除 Hive 表不影响生产系统的数据写入。

六、总结对比表

七、一句话记忆

内部表：Hive 拥有数据，删表就删数据
外部表：Hive 借用数据，删表不删数据