10分钟上手User-Community Airflow Helm Chart:快速部署Apache Airflow的终极教程
10分钟上手User-Community Airflow Helm Chart:快速部署Apache Airflow的终极教程
【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts
User-Community Airflow Helm Chart是在Kubernetes上使用Helm部署Apache Airflow的标准方式。自2017年创建以来,它已帮助数千家公司在Kubernetes上创建了生产就绪的Airflow部署。本教程将带你快速掌握使用该Helm Chart部署Apache Airflow的完整流程。
准备你的环境:部署前的必备条件
在开始部署之前,请确保你的环境满足以下要求:
- Kubernetes
1.18+ - Helm
3.0+(installing helm) - (可选)配置包含DAG文件的Git仓库 (loading dag definitions)
- (可选)外部
PostgreSQL或MySQL数据库 (connecting your database) - (可选)用于
CeleryExecutor的外部Redis数据库 (connecting your redis)
如果你需要搭建Kubernetes集群,以下是一些流行的Kubernetes发行版:
| 平台 | Kubernetes发行版 |
|---|---|
| 本地机器 | k3d |
| 本地机器 | kind |
| 本地机器 | minikube |
| 亚马逊云 | Amazon Elastic Kubernetes Service (EKS) |
| 微软云 | Azure Kubernetes Service (AKS) |
| 谷歌云 | Google Kubernetes Engine (GKE) |
添加Helm仓库:获取Airflow Chart的最快方法
执行以下命令将Airflow Helm仓库添加到你的Helm配置中:
## 添加helm仓库 helm repo add airflow-stable https://airflow-helm.github.io/charts ## 更新helm仓库缓存 helm repo update创建自定义配置文件:简单配置满足你的需求
Helm Chart通过values文件进行配置,完整的配置项列表可在chart的values.yaml文件中找到(该文件也设置了默认值)。
User-Community Airflow Helm Chart拥有超过1000个配置项,但不必担心,你可以从定义几个重要的值开始,然后逐步扩展你的custom-values.yaml文件。
我们建议你从以下示例之一开始创建你的custom-values.yaml文件:
CeleryExecutorKubernetesExecutorCeleryKubernetesExecutor
安装Airflow Chart:一键部署的简单步骤
使用以下命令安装Airflow Helm Chart:
## 设置发布名称和命名空间 export AIRFLOW_NAME="airflow-cluster" export AIRFLOW_NAMESPACE="airflow-cluster" ## 创建命名空间 kubectl create ns "$AIRFLOW_NAMESPACE" ## 使用helm 3安装 helm install \ "$AIRFLOW_NAME" \ airflow-stable/airflow \ --namespace "$AIRFLOW_NAMESPACE" \ --version "8.X.X" \ --values ./custom-values.yaml⚠️注意⚠️
始终固定
--version参数,以避免意外更新Chart版本!你可以在CHANGELOG中找到完整的Chart版本列表。
访问Airflow UI:开始使用你的Airflow集群
安装完成后,通过以下命令访问Airflow Web界面:
## 端口转发Airflow Web服务器 kubectl port-forward svc/${AIRFLOW_NAME}-web 8080:8080 --namespace $AIRFLOW_NAMESPACE ## 在浏览器中打开:http://localhost:8080 ## (默认登录:`admin`/`admin`)后续学习:深入了解Airflow的更多功能
恭喜你成功部署了Apache Airflow!以下资源可以帮助你进一步扩展和优化你的Airflow部署:
- 管理Airflow用户
- Airflow与LDAP或OAUTH集成
- 文档:关键功能
- 文档:常见问题
- 文档:示例
- 文档:Helm配置项
通过本教程,你已经掌握了使用User-Community Airflow Helm Chart在Kubernetes上快速部署Apache Airflow的方法。现在你可以开始创建和管理你的数据管道了!
【免费下载链接】chartsThe User-Community Airflow Helm Chart is the standard way to deploy Apache Airflow on Kubernetes with Helm. Originally created in 2017, it has since helped thousands of companies create production-ready deployments of Airflow on Kubernetes.项目地址: https://gitcode.com/gh_mirrors/charts27/charts
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考