airflow는 데이터 처리를 목적으로 만들어진 툴이기 때문에 우리도 ETL 처리를 할 때 데이터 관점에서 생각해야 한다. 1. 데이터 추출 예시 위와 같은 예시 테이블이 있다고 생각해보자 이러한 테이블을 조회하기 위한 Daily ETL 조회쿼리는 다음과 같다.(2023/02/25 0시 실행) SELECT NAME, ADDRESS FROM TBL_REG WHERE REG_DATE BETWEEN TIMESTAMP(‘2023-02-24 00:00:00’) AND TIMESTAMP(‘2023-02-24 23:59:59’) 위 쿼리를 보면 실제 쿼리가 시작되는 시점은 2023/02/25 0시이다. 데이터 관점에서 보면 다음과 같다. 데이터 관점의 시작일: 2023-02-24 데이터 관점의 종료일: 2023-02..
[Airflow] - Airflow의 날짜개념
airflow는 데이터 처리를 목적으로 만들어진 툴이기 때문에 우리도 ETL 처리를 할 때 데이터 관점에서 생각해야 한다. 1. 데이터 추출 예시 위와 같은 예시 테이블이 있다고 생각해보자 이러한 테이블을 조회하기 위한 Daily ETL 조회쿼리는 다음과 같다.(2023/02/25 0시 실행) SELECT NAME, ADDRESS FROM TBL_REG WHERE REG_DATE BETWEEN TIMESTAMP(‘2023-02-24 00:00:00’) AND TIMESTAMP(‘2023-02-24 23:59:59’) 위 쿼리를 보면 실제 쿼리가 시작되는 시점은 2023/02/25 0시이다. 데이터 관점에서 보면 다음과 같다. 데이터 관점의 시작일: 2023-02-24 데이터 관점의 종료일: 2023-02..
2023.12.20