상어고기 3접시

이번 장에서는 데이터 엔지니어 업무를 함에 있어 최근 많이들 전환을 검토하시는 3개 제품(aws Redshift, SnowFlake, Databrocks)를 정리하였습니다. 실제 실무를 진행하였을 때 정답은 없었으며, 구축하려는 데이터플랫폼의 성격을 먼저 분석한 뒤 제품을 사용하시는 것을 권장 드립니다. 1. 한 눈에 비교하는 3대 데이터 플랫폼비교 항목스노우플레이크 (Snowflake)데이터브릭스 (Databricks)AWS 레드시프트 (Redshift)핵심 기능데이터 웨어하우스 (DW), 비즈니스 인텔리전스 (BI)데이터 엔지니어링(DE), 데이터 과학 / 머신러닝 (DS, ML)데이터 웨어하우스 (DW)사용 편의성 설정 및 관리가 매우 쉽고 간편함 (SaaS)초기 세팅은 다소 어려우나, 이후 사..

이번 장에서는 Databricks Genie를 활용하여 BI를 만들어 보려 합니다.만든 BI를 누구나 접근할 수 있는 앱으로 마지막에 만드는 것이 목표입니다.1. Genie Code에 데이터를 참고하여 분석을 맡기기만들어진 최종 데이터(Gold 테이블)를 확인하여 유의미한 분석 대시보드를 추천 해달라고 하였습니다.지니가 데이터를 확인하여 어떤 도표를 만드는게 좋은지 추천해줍니다.현업에 계실 경우 자사의 데이터를 학습 시키면 그 데이터를 토대로 Genie가 인사이트를 제공합니다.2. 대시보드가 자동으로 만들어지는 과정1단계: 초기 설정빈 대시보드 "Bakehouse Sales & Performance Dashboard" 생성2개 데이터셋 준비:일별 매출 분석 데이터프랜차이즈 성과 데이터2단계: 위젯 스키마..

데이터 엔지니어 : DataBricks 편1. Genie Code에 작업 전 최소한의 프롬프트 입력하기지니야.너는 나를 도와서 데이터 엔지니어 업무를 진행할거야.우리는 BRONZE LAYER라는 현재 만들어져 있는 bakehouse 스키마 내 테이블을 이용해서 Silver layer, goldlayer의 테이블에 데이터를 적재해주는 파이프라인을 만들려고 해.내가 너한테 요청을 하면 넌 검토를 하고 바로 적용하지 말고어떤 내용을 적용하려 하는지 설명하고, 나한테 허락 받고 적용하도록 해그리고 모든 답변은 한글로 해지니가 앞으로 도와줄 업무에 대하여 사전에 정의하기요청에 대하여 바로 적용할 경우 문제가 됨으로, 어떤 작업을 할 것인지 먼저 물어보는 하네스를 걸어서 사용자가 먼저 확인하고 컨펌 할 수 있도록 ..

데이터 엔지니어 : DataBricks 편 1. 레슨런 진행하기오늘은 저번 장에 만든 Databricks 실습 계정에 있던 lesson learn을 진행해보겠습니다.데이터브릭스 내에서 동영상 강의까지 제공하나 영어로 설명이 진행된다는 치명적인 단점이 있습니다.2. 메인 페이지 설명메인 페이지에 하단부에 있는 Your Resources 같은 경우 즐겨찾기 하거나, 방문을 자주한 페이지를 보여줍니다.왼쪽 편에는 데이터 브릭스에서 사용하는 기능들이 나열되어 있습니다.3. Workspace 탐색하기왼쪽 토글에 있는 Workspace를 눌러 해당 페이지로 들어갑니다.Workspace는 데이터브릭스에 올린 모든 폴더와 파일, 노트북 등의 자산 들이 저장되는 공간입니다.타인 혹은 타 부서에서 Workspace 공유..

데이터 엔지니어 : DataBricks 편데이터브릭스 학습을 위한 Free Edition 가입하기Free Edition 가입 링크 : https://www.databricks.com/kr/learn/free-editionGoogle 혹은 MS 계정으로 가입하기국적 및 계정 이름 확인 후 계속목적에 맞는 주제를 선택하고 계속 Databricks 실습을 위한 기초 계정 생성 완료 되었습니다.다음 포스팅에서는 실습 계정 내에 있는 레슨런들을 따라하도록 하겠습니다.감사합니다.

데이터 엔지니어 : DataBricks 편오늘 공부할 주제는 현재 재직 중인 회사에서 갓 도입하여 사용 중인 데이터브릭스(Databricks) 입니다. 팀 내 데이터 엔지니어들의 강력한 요구로 기존 AWS 인프라 위에 구축된 데이터 파이프라인들을 데이터브릭스로 이관했는데 많은 면에서 만족하게 되어 정리를 하게 되었습니다.데이터 파이프라인을 다루는 데이터 엔지니어시거나, 미국 주식을 하시는 분들은 한 번쯤 들어보셨을 텐데요. 데이터브릭스가 도대체 무엇이고, 왜 기존의 데이터웨어하우스나 데이터 레이크에서 이관을 했는지를 정리하려 합니다1. 데이터브릭스(Databricks)란?데이터브릭스는 Apache Spark의 초기 개발자들이 모여서 설립한 클라우드 기반의 통합 데이터 분석 플랫폼입니다.AWS, Azure..