在centos上用mysql作数据库 搭建airflow

Posted on 2021-05-08 17:35:00

在centos上用mysql作数据库 搭建airflow

pip install apache-airflow

注意点：

  1. airflow 对python lib的版本要求很奇怪，会要求一些老版本的lib，导致和其他软件冲突，建议使用 “python -m venv airflow-venv”为它创建单独的环境。
  1. airflow 默认用sqlite作数据库，2.0版本的airflow对sqlite的版本要求较高（>3.15）
  1. airflow可以不用sqlite，用其他数据库
  1. 环境变量 "AIRFLOW_HOME" 很重要，执行airflow命令时，读取配置文件的路径就是根据该环境变量确定。建议配置到 /etc/profile
  1. 根据你python的版本要下一个constraints-X.X.txt的文件，用于安装。

以下假设AIRFLOW_HOME=/opt/airflow

第一步：

# bash shell
export AIRFLOW_HOME=/opt/airflow

AIRFLOW_VERSION=2.0.1
PYTHON_VERSION=3.7

pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint constraints-${PYTHON_VERSION}.txt  # txt文件要预先下载 (e.g. https://raw.githubusercontent.com/apache/airflow/constraints-2.0.1/constraints-3.7.txt）

第二步：mysql建一个空白数据库<