[Airflow] - M1 Mac에서 airflow 설치하기(docker-compose 이용)

LG cns 연구원님이신 김현진님의 airflow 강의 무료쿠폰에 당첨되어 이번에 듣게 되었다. 너무 기대가 된다!!! 다만 강의 환경이 다른데 김현진님은 window 위에 WSL을 깔아서 강의를 진행 하지만 난 M1 Mac... 개발 환경을 설정하는 것부터 크나큰 문제가 발생했다. 하지만 어차피 Docker위에서 진행 됨으로 크게 차이는 없을 것이라 판단하고 진행하기로 했다. 각설하고 airflow 설치 방법을 알아보자

 

1. 환경변수 설정

export AIRFLOW_HOME='/Users/choejeehyuk/airflow' # 사용자 경로로 수정

# 확인
echo $AIRFLOW_HOME

 

2. 가상환경 생성

# 가상환경 생성
$ python3 -m venv venv-airflow

# 가상환경 실행
$ source venv-airflow/bin/activate

 

3. docker-compose.yaml 다운로드

1. 나는 아파치 airflow에서 직접 제공하는 yaml 파일을 다운 받았다. 그게 공식이기 때문에 나중에 버전 오류가 날 일도 없기 때문이다.

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Running Airflow in Docker — Airflow Documentation

위 사이트로 들어가 해당 코드를 복사해 터미널에 넣어준다.

 

4. airflow user setting

airflow 구동에 필요한 폴더를 생성해준다. 아래를 보면 dags 폴더가 생기는데 나중에 이 폴더로 Dag 파일이 들어간다.

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
AIRFLOW_UID=50000

 

5. Running airflow

docker-compose -f docker-compose.yml up -d # -d는 백그라운드 실행을 의미

# 잘 실행되었는지 확인
docker ps

이렇게 6개의 컨테이너가 잘 실행 되었다면 성공!

 

현재 port가 8080에 설정되어 있으므로 로컬 호스트로 접속해주도록 한다.

http://localhost:8080