[Databricks] 1-2장. 데이터브릭스 실습 1일차 (Fundamental)

데이터 엔지니어 : DataBricks 편

 

1. 레슨런 진행하기

오늘은 저번 장에 만든 Databricks 실습 계정에 있던 lesson learn을 진행해보겠습니다.
데이터브릭스 내에서 동영상 강의까지 제공하나 영어로 설명이 진행된다는 치명적인 단점이 있습니다.

2. 메인 페이지 설명

• 메인 페이지에 하단부에 있는  Your Resources 같은 경우 즐겨찾기 하거나, 방문을 자주한 페이지를 보여줍니다.
• 왼쪽 편에는 데이터 브릭스에서 사용하는 기능들이 나열되어 있습니다.

3. Workspace 탐색하기

• 왼쪽 토글에 있는 Workspace를 눌러 해당 페이지로 들어갑니다.
• Workspace는 데이터브릭스에 올린 모든 폴더와 파일, 노트북 등의 자산 들이 저장되는 공간입니다.
• 타인 혹은 타 부서에서 Workspace 공유하기를 통해 허가된 타 Workspace 에 자산을 서로 공유할 수 있습니다.
• 휴지통에 저장된 파일 및 폴더는 별도의 조치를 하지 않을 경우 30일 이후 삭제 됩니다.

• 우상단에 있는 create를 누르면 필요한 리소스 들을 생성하실 수 있습니다.

4. Catalog 탐색하기

• 카탈로그는 기존에 자주 쓰이는 RDB라고 생각하시면 됩니다.
• Catalg(Database) 하위에 Schema(User)가 있고 그 밑에 테이블을 만드는 구조 입니다.
• 다만 별도의 테이블을 만들어서 데이터를 부울 필요 없이 S3내 있는 parquet, CSV 데이터를 바로 Access 할 수 있습니다.

• Catalog 내 테이블 탭의 기능들
  • Overview : 해당 테이블의 컬럼 목록 및 요약을 보여주는 페이지
  • Sample Data : 해당 테이블에 들어있는 데이터의 샘플을 보여주는 페이지
  • Detail : 해당 테이블의 생성일, 데이터가 저장된 위치 등의 속성 세부 값을 보여주는 페이지
  • Permisson : 해당 테이블을 접근할 수 있는 사용자 및 Workspace에 대한 권한을 보여주고 수정할 수 있는 페이지
  • History : 해당 테이블에서 일어난 데이터 변경을 기록하는 audit 페이지
  • Lineage : 데이터가 어디서 시작해서 어디로 흘러가는지에 대한 흐름도를 도식화된 표나 그래프로 볼 수 있는 페이지
  • Insight : 해당 테이블을 어떤 사용자가 자주 접근하고 어떤 ML과 파이프라인이 자주 참조하는지 등을 알려주는 페이지
  • Quality : 해당 테이블 내 데이터 무결성 및 최신성에 문제가 없는지 확인하며 문제가 생길 경우 알려주는 페이지

5. Notebook 탐색하기

• Notebook은 파이썬의 주피터 노트북이나 SQL의 DBeaver 같이 실제 개발을 진행하는 공간입니다.
• 하나의 Notebook에서 파이썬과 SQL을 다룰수 있으며 데이터브릭스의 경우에는 ETL개발 시 SQL을 사용하거나 파이썬을 사용하거나 두 방식 모두 가능합니다.
• 코드 뭉치 단위로 끊어서 수행 후 즉각 결과가 보이는 점은 주피터 노트북과 유사합니다.

• 개인적으로 마음에 드는 기능 중 하나로, 노트북에서 만드는 코드에 대해 스케쥴 기능을 통해 손쉽게 배치화 시킬 수 있습니다.
• 또한 share 기능을 통해 사전에 본인이 만든 코드를 남들에게 공유하여 사용하실 수 있습니다.
• 현업에서는 데이터 분석가나 사업 담당자가 요청한 데이터에 대하여 추출 sql을 만들어서 share로 공유하여 사용하고 있습니다.
• 추가적으로 이 노트북에 Genie Space를 접목시켜서 해당 코드를 기반으로 AI가 BI 페이지를 바로 생성도 해줍니다.

• 코드에 에러가 있을 경우에도 Genie가 오류에 대해 원인 분석 및 수정을 도와주어 개발 생산성이 높아집니다.

• Genie에게 자연어로 질의하면 스스로 SQL을 생성해주어서 바이브 코딩이 가능해지며 그래프 등 시각화를 해달라하면
  즉석에서 볼 수 있도록 만들어 줍니다.