aws glue

[aws] Glue 사용법 (데이터 카탈로그)

Glue 란 완전 관리형 추출, 변환 및 로드 (ETL) 서비스이다. 여러 데이터 스토어 및 데이터 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동한다. S3 -> Glue -> Glue Studio .데이터베이스 데이터베이스를 생성한다. . 테이블 직접 생성할 수도 있고, 크롤러를 사용해 테이블 추가도 가능하다. . 연결 redshift와 postgresql의 경우 연결해줘야지 사용가능하다. . 크롤러 데이터 스토어에 연결해 우선순위가 지정된 분류자의 목록을 기준으로 데이터의 스키마를 결정한 다음 데이터 카탈로그에 메타데이터 테이블을 생성한다 . 워크플로 트리거에 감시되는 이벤트와 작업을 정의해 워크플로우를 구축한다. . 트리거 워크플로에서 생성된 트리거를 확인할 수 있다. 데이터베이스 생성하기..