[DE 실무] Databricks VS SnowFlakeVS Redshift 무엇을 선택할까?

 이번 장에서는 데이터 엔지니어 업무를 함에 있어 최근 많이들 전환을 검토하시는 3개 제품(aws Redshift, SnowFlake, Databrocks)를 정리하였습니다.
 실제 실무를 진행하였을 때 정답은 없었으며, 구축하려는 데이터플랫폼의 성격을 먼저 분석한 뒤 제품을 사용하시는 것을 권장 드립니다.

 

 1. 한 눈에 비교하는 3대 데이터 플랫폼

비교 항목	스노우플레이크 (Snowflake)	데이터브릭스 (Databricks)	AWS 레드시프트 (Redshift)
핵심 기능	데이터 웨어하우스 (DW), 비즈니스 인텔리전스 (BI)	데이터 엔지니어링(DE), 데이터 과학 / 머신러닝 (DS, ML)	데이터 웨어하우스  (DW)
사용 편의성	설정 및 관리가 매우 쉽고 간편함 (SaaS)	초기 세팅은 다소 어려우나, 이후 사용은 쉽고 간편	AWS 사용자라면 설정 및 관리가 매우 편리함
보안	중간의 보안 기능, 업계 컴플라이언스 표준 준수	강력한 보안 기능, 업계 컴플라이언스 표준 준수, 국내 보안 기준 통과	강력한 보안 기능, 업계 컴플라이언스 표준 준수, 국내 보안 기준 통과
요금 모델	스토리지와 컴퓨팅 분리형, 쓴 만큼만 내는 구조	컴퓨팅, 스토리지, 소프트웨어 비용의 묶음(Bundled) 형태	컴퓨팅, 스토리지, 소프트웨어 비용의 묶음(Bundled) 형태
배포 환경	멀티 클라우드 (AWS, Azure, GCP ) 환경 지원	멀티 클라우드 (AWS, Azure, GCP ) 환경 지원	AWS 클라우드 전용 (AWS Cloud Only)
지원 데이터 유형	정형 데이터 중심	정형, 반정형, 비정형 데이터 전체 지원 (Lakehouse)	정형 데이터 중심
가격대	사용 시간이 높아질수록 가격이 폭증	파이프라인 구성에 따라 가격이 천자 만별	가장 저렴하게 운
성능	대규모 배치 및 ETL 성능 우수	복잡한 SQL 동시 처리 우수	AWS 생태계 연동 시 성능 우수

 

2. 스노우플레이크 (Snowflake)

# 인프라 완벽 위탁 관리 데이터 플랫폼

(스노우플레이크는 오라클 출신 엔지니어 분들이 설립한 회사 입니다.)

스노우플레이크는 "모든 것을 관리해 주는 완벽한 SaaS형 데이터 웨어하우스" 입니다. 인프라 튜닝이나 클러스터 관리 등을 하지 않고 실제 사용한 쿼리의 인프라 사용량 만큼만 과금됩니다. 이로 인해 전문적인 데브옵스 조직이 없이 SQL과 데이터 비즈니스 가치 창출에만 집중하고 싶은 조직에 걸맞는 솔루션 입니다.

• 주요 특징:
  • 완벽한 컴퓨팅·스토리지 분리: 쿼리를 날릴 때 스노우플레이크 내 가상 웨어하우스가 켜지고, 평소에는 스토리지 비용만 냅니다.
  • 쉽고 안전한 데이터 공유(Data Sharing): 복사나 이동 없이 가지고 있는 데이터를 권한 관리 만으로 다른 계정과 실시간으로 데이터를 안전하게 주고받을 수 있습니다.
  • Iceberg 포맷 완전 지원: 최신 Apache Iceberg v3 규격까지 완벽 지원하며, 외부 데이터 레이크와의 연동성이 대폭 강화되었습니다.
• 장점:
  • 관리 인력 최소화: 인덱스 생성, 파티셔닝, 백업설정을 사용자가 할 필요가 없습니다. 또한 인프라를 띄우고 이를 운영할 필요도 없이 자동으로 제공됩니다.
  • 유연한 확장성: 동일한 데이터 스토리지에 수백 개의 서로 다른 가상 웨어하우스를 붙여 동시에 쿼리를 날려도 성능 간섭이 전혀 없습니다.
  • 멀티 클라우드 지원: AWS, Azure, GCP 어디서나 동일한 UI와 경험으로 사용할 수 있어 클라우드 종속성 우려가 적습니다.
• 단점:
  • 비용 예측의 어려움: 사용한 만큼 비용이 부과되며 비용 컨트롤이 어려워 갑자기 비용이 폭증할 수 있습니다.
    이로 인해 비용 모니터링에 많은 신경을 써야 합니다.
  • 비정형 데이터 처리의 한계: 지속적인 요구로 개선 중이긴 하나, 기본적으로 SQL 기반의 구조화된 데이터(정형/반정형) 처리에 최적화되어 있어, 완전한 이미지·텍스트 가공 등 딥러닝/ML 파이프라인용으로는 아직 사용을 권장 드리지 않습니다.
  • 호환성: SQL 기반이기에 호환성이 좋으나 현재 비교 중인 3개 솔루션 중에선 가장 호환성이 떨어집니다.
    타 솔루션들과의 연계나 기존 솔루션을 대개체 할 경우 가장 많은 변경이 필요합니다.

 

3. 데이터브릭스 (Databricks)

# 한 곳에서 대규모 데이터와 AI/ML 및 BI까지 올인원 레이크하우스

(데이터브릭스는 Apark 엔진 엔지니어 분들이 설립한 회사 입니다.)

데이터브릭스는 Apache Spark의 창시자들이 만든 플랫폼답게, "데이터 엔지니어링과 AI/ML 모델링을 하나의 인프라(Lakehouse)로 통합"하는 데 초점을 맞춥니다. 대용량 로그 분석, 복잡한 ETL/ELT 파이프라인, 고급 예측 모델링 등 수준 높은 데이터 엔지니어들이 다수 포진한 경우 추천 드립니다.

• 주요 특징:
  • 레이크하우스 아키텍처: 저렴한 클라우드 오브젝트 스토리지(S3, 데이터레이크) 위에 Delta Lake나 Iceberg 같은 오픈 테이블 포맷을 얹어 DW 수준의 트랜잭션과 성능을 냅니다.
  • Unity Catalog 기반 통합 거버넌스: 데이터 구조부터 파일, AI 모델, 칼럼 레벨의 리니지까지 한 곳에서 추적하고 통제합니다.
  • 강력한 개발 환경: 노트북 환경에서 Python, SQL, Scala, R을 자유롭게 교차 사용하며 협업할 수 있습니다.
• 장점
  • 확장성 및 유연성: 대규모 스트리밍 데이터 및 정형/반정형/비정형 데이터를 가리지 않고 거대한 스케일의 분산 처리가 가능합니다.
  • AI/ML 친화적 생태계: MLflow 등 머신러닝 라이프사이클 관리 도구가 내장되어 있어, 엔지니어가 가공한 데이터를 데이터 과학자가 즉시 모델 학습에 활용할 수 있습니다.
  • 오픈소스 생태계 기반: 기본 뼈대가 오픈소스 기술(Spark, Delta Lake) 중심이어서 특정 벤더에 완전히 종속되지 않고 이식성이 좋습니다.
  • ACID 보장 및 데이터 롤백 보장 : 정형/비정형 데이터에 대하여 ACID를 보장하며, 과거 데이터에 대하여 타임라인을 가진 채 백업을 가지고 있어 되돌리기 쉽습니다.
  • 올인원 데이터플랫폼 : 데이터 엔지니어, 데이터 사이언티스트, 머신러닝 엔지니어, BI 엔지니어 및 사업 담당자가 필요로 하는 모든 툴이 내장되어 있어 하나의 환경에서 모두가 같이 사용 가능합니다.
• 단점
  • 약간의 진입 장벽과 관리 공수: 관리형 서비스긴 하나 클라우드 플랫폼과 연계하는 초기 세팅이 필요하며, 서버리스를 사용하지 않을 경우 띄운 클러스터들에 대한 자원 관리가 필요합니다.
  • 조회 성능의 아쉬움: ETL 파이프라인 처리가 매우 빠르며 조회 등도 속도가 좋으나 전통적인 DW(Snowflake, Oracle exadata)에 비해 단순 대시보드 조회나 초 단위의 트랜잭션 처리 속도 면에서는 성능이 조금 아쉽습니다.
  • 클러스터 기동 시간: 사용할 때 클러스터가 기동되는 컨셉으로 인해 파이프라인에 기동시간 약 8분 정도가 소요되어 오래 걸리는 것 처럼 보이는 현상이 발생합니다.

 

4. AWS 레드시프트 (Redshift)

# AWS 생태계의 마스터 키

(레드시프트는 오픈소스 RDB인 PostgresqL을 기반으로  만들어졌습니다..)

레드시프트는 클라우드 데이터 웨어하우스의 원조 격이자, "AWS 인프라 생태계와의 완벽한 결합"을 위한 DW 솔루션입니다. 전사 인프라가 이미 AWS 기반으로 탄탄하게 구축되어 있고, 표준 SQL 중심의 안정적인 대용량 분석 인프라가 필요한 기업에 완벽히 부합합니다.

• 주요 특징:
  • AWS 생태계 밀착 연동: IAM 보안 체계, S3 데이터 레이크(Spectrum), AWS Glue, CloudTrail 등과 별도 복잡한 인증 없이 즉시 엮입니다.
  • Zero-ETL 인프라 (핵심): Aurora DB, RDS, DynamoDB의 데이터를 별도 ETL 파이프라인 구축 없이 레드시프트로 실시간 복제하여 분석할 수 있는 Zero-ETL 라인업이 강력합니다.
  • 진화된 Serverless 옵션: 기존 프로비저닝 형태 외에도 최근 Serverless 모드가 크게 발전하여, 최소 4 RPU(Redshift Processing Units) 단위까지 베이스 용량을 낮춰 가성비 있게 시작할 수 있습니다.
  • 다양한 교육 및 많은 참고 자료: AWS에서 제공하는 다양한 문서 및 많은 교육으로 입문 및 운영인력 육성이 용이합니다.
• 장점:
  • AWS  환경의 통합: AWS 계정 내에서 네트워크(VPC)와 보안(IAM) 통제가 가장 깔끔하게 떨어지며, 인프라 관리가 일원화되어 추가 인력이 불필요합니다.
  • 예측 가능한 비용 체계: 프로비저닝 클러스터 방식을 사용할 경우 매달 고정된 비용으로 운영이 가능하며, 서버리스 환경에서도 예약(Reservation) 옵션을 통해 장기 사용 시 최대 45% 수준의 비용 최적화가 가능합니다.
  • 표준 SQL 기반 고성능: 대규모 병렬 처리(MPP) 아키텍처와 컬럼형 스토리지를 기반으로 복잡한 조인(Join)과 BI용 집계 쿼리에서 매우 탄탄한 퍼포먼스를 냅니
  • 뛰어난 호환성: 현존하는 대다수의 솔루션들과 호환 및 마이그레이션이 가능합니다.
  • Postgresql 기반의 친숙한 문법: 전 세계적으로 많이 사용하는 Oracle과 문법이 거의 동일한 Postgresql 기반으로 구성이 가능하여 별다른 학습없이 손쉽게 구성이 가능합니다.
  • Zero-ETL을 이용한 실시간 데이터 연동: 해당 기능으로 인해 별도의 카프카 연동 및 관리 없이 aws 인프라 위에 있는 DB의 데이터를 실시간으로 연동이 가능하여 DW 구축이 쉽습니다.
• 단점:
  • 타사 클라우드 연동 불가: AWS 전용 서비스이기 때문에 멀티 클라우드 아키텍처를 지향하거나 GCP, Azure를 메인으로 쓰는 기업에서는 사용하실 수 없습니다.
  • 유연성의 한계: 스노우플레이크나 데이터브릭스에 비해 스토리지는 AWS 내부에만 존재하며, 인스턴스 사이즈의 한계가 존재하여, 한계치 도달 시 다른 인스턴스를 또 띄운 뒤 데이터 쉐어링을 하여 운영할 수 밖에 없습니다.
  • 잦은 Down Time 강제: 최대 45일에 1번씩 메인터넌스 작업이 이뤄지며, 약 15분의 Down Time이 발생합니다. 이로 인해 Down Time이 허가되지 않은 서비스에선 사용이 불가합니다.
  • 단건 트랜잭션 처리 성능 저하: 대용량 데이터 처리에 맞춰진 만큼 단건 단위 DML 작업 시 1건당 3초의 시간이 소요되어 낮은 성능을 보입니다 (실 운영 시 1건을 넣던 1만건을 넣던 3초 소요 되었습니다)

 

5. 3개 솔루션의 가격 및 성능 비교 요약

SnowFlake

• 사용하는 만큼 비용이 부과되기에 엄격한 관리 및 지속적인 비용 모니터링을 하지 않을 경우 
  타 솔루션 대비 수 배 이상의 비용이 청구 될 수 있습니다.
• 실 사용 시간이 적으며, 적은 시간에 빠른 처리가 필요한 성능 우선 작업에 추천 드립니
• 복잡한 SQL 쿼리로 만들어진 경우 뛰어난 성능을 보입니다.

Databricks

• 비용 적으론 미리 정의된 클러스터(ec2 등)을 사용할때만 기동 하는 식으로 생성되며
  ETL 파이프라인 사용시에만 비용이 많이 부과되어 3개 솔루션 중 가격이 중간 정도 됩니다.
• 대용량 데이터에 대한 ETL 처리 및 다수의 배치에 성능적으로 용이합니다.

Redshift

• 예약 인스턴스 구매 및 서버리스, 기존 AWS 인프라의 크레딧 할인 등 가장 저렴하게 사용가능하여
  비용적인 챌린지가 클 경우 가장 강하게 추천 드립니다.
• 대량 데이터에 대한 적재 및 OLAP 성격의 서비스에서 뛰어난 성격을 보입니다.

 

6. 마치며...

오늘은 저희 회사에서 실제 도입하고 사용중인 3개의 DW에 대하여 소개하였습니다.
각 솔루션의 장단점이 있으며, 그 어디에도 정답은 존재하지 않습니다. 구축 및 마이그레이션 하시려는 환경을 고려하여
솔루션을 선택하시면 좋을 것 같습니다.