GCP 서비스를 활용해 온프레미스와 GCP 내 다른 서비스의 데이터를 통합하고, 고객에게 BI툴을 활용해 인사이트를 제공해주는 서비스입니다.

[주요 특징] 고객 요구사항은 각 사업장에 적재된 데이터와 다른 GCP 서비스에 적재된 데이터를 수집하고 통합하는 것이었습니다. GCP Data Fusion으로 ETL을 수행하고 GCP Composer(Airflow 기반)로 전체 워크플로우를 오케스트레이션하도록 구성했습니다. [네트워킹] - 각 사업장의 데이터를 수집하기 위해 GCP 네트워크를 Hub-Spoke로 구성 - Hub 네트워크에 전용선(GCP Interconnect)를 구성, 다른 GCP 서비스는 VPC Peering을 구성 [데이터 처리] - Cloud Composer로 Data Fusion 파이프라인 실행,데이터 전처리 및 분석 작업 등 데이터 로딩 및 준비 과정의 작업 흐름을 정의하고 자동화하도록 구성 - Data Fusion으로 ETL 수행 후 Cloud Storage 및 BigQuery에 데이터 적재하도록 구성 [서비스 레이어] - BI툴 구성을 위한 VM 구성. VM은 고가용성을 위해 이중화 - DW 메타데이터 관리를 위한 Cloud SQL 구성 [관측 가능성] - VM 기반 시스템들의 CPU, Memory, Disk, Latency, 서비스 중단 알림 구성 - Composer Node(Scheduler, Trigger, Worker) 자원 사용률 및 활성 작업자 알림 구성 (Composer는 GKE 기반)