[Databricks] 1-3장. Genie를 이용한 Pipleline 만들기

데이터 엔지니어 : DataBricks 편

1. Genie Code에 작업 전 최소한의 프롬프트 입력하기

지니야.
너는 나를 도와서 데이터 엔지니어 업무를 진행할거야.
우리는 BRONZE LAYER라는 현재 만들어져 있는 bakehouse 스키마 내 테이블을 이용해서 Silver layer, goldlayer의 테이블에 데이터를 적재해주는 파이프라인을 만들려고 해.

내가 너한테 요청을 하면 넌 검토를 하고 바로 적용하지 말고
어떤 내용을 적용하려 하는지 설명하고, 나한테 허락 받고 적용하도록 해
그리고 모든 답변은 한글로 해

• 지니가 앞으로 도와줄 업무에 대하여 사전에 정의하기
• 요청에 대하여 바로 적용할 경우 문제가 됨으로, 어떤 작업을 할 것인지 먼저 물어보는 하네스를 걸어서 
  사용자가 먼저 확인하고 컨펌 할 수 있도록 하기

2. Genie의 도움을 받아 Silver, Gold Layer 테이블 설계하기

• 지니의 도움을 받아 테스트용으로 제공된 테이블을 가공하여 Silver, Gold Layer 테이블을 생성하려 합니다.
• Bronze Layer, Silver layer, Gold Layer 테이블은 아래와 같이 구성할 예정입니다.
  • 브론즈 Layer 테이블 6개
    • bronze.media_customer_reviews : 고객의 리뷰
    • bronze.media_gold_reviews_chunked : AL/ML을 위한 DAG 저장소
    • bronze.sales_customers : 고객 정보
    • bronze.sales_franchises : 프렌차이즈 정보
    • bronze.sales_suppliers : 공급업체 정보
    • bronze.sales_transactions : 거래 내
  • 실버 Layer 테이블 3개
    • silver.sales_enriched : 거래 데이터에 고객/프랜차이즈 
    • silver.reviews_enriched : 리뷰 데이터에 프랜차이즈 정보
    • silver.franchise_operations : 프랜차이즈 운영 정보 통합
  • 골드 Layer 테이블 2개
    • gold.sales_analytics : 프랜차이즈/제품/기간별 매출 집계
    • gold.franchise_performance : 프랜차이즈 종합 성과 지표

3. Genie의 도움을 받아 Silver, Gold 스키마 구성하기

• 질의한 내용 : 브론즈, 실버, 골드 레이어를 저장할 수 있는 3개의 스키마를 만들수 있게 도와줘
• 지니는 답변으로 현재 보고 있는 sample 스키마는 읽기 전용이기에 새 카탈로그를 만들 것을 추천
• 지니의 조언에 따라 따라 새 카탈로그를 만들고, 해당 카탈로그에 3개의 스키마를 만든 뒤 6개의 테이블을 이관

• 지니에게 스키마를 생성하도록 한 결과, 스스로 노트북을 열어서 스크립트를 만들고 이를 적용하도록 대기
• 사용자가 구문을 확인하고 수행 시킨 결과 정상적으로 스키마가 만들어졌습니다.
• 이 후 기존에 있던 6개의 테이블을 만들고, 데이터 이관을 진행 시켰습니다.

4. Genie의 도움을 받아 Pipeline 만들기

• 실제 파이르파인을 만들려하니 Databricks에선 Silver, gold 테이블을 만드는게 아닌 기존 테이블을 활용하여
  Meterialized view를 생성하여 관리
• 이에 따라 기존 silver, gold 내에 있는 테이블을 삭제하고 권장하는 MV 방식으로 하는 것으로 결정

• ai에게 Bronze 테이블과 silver, gold MV의 구조 및 테이터 흐름을 자연어로 말한 결과 스스로 파이썬 코드를 제작하여
  이를 통해 파이프라인을 생성 진행

5. 바이브 코딩으로 생성된 Data Pipeline 확인

• Genie 만을 이용하여 계층 테이블을 만들고, 이에 대한 파이프라인을 개설 한 뒤 데이터 리니지까지 성공적으로 만들어졌습니다.