Databricks 마이그레이션 워크샵: 저장 프로시저에서 레이크하우스로 (5일 집중 과정) 교육 과정

도입, 목표 및 마이그레이션 전략

• 코스 목표, 참여자 프로필 정렬 및 성공 기준
• 고수준 마이그레이션 접근법 및 리스크 고려 사항
• 워크스페이스, 저장소 및 랩 데이터셋 설정

1일차 — 마이그레이션 기초 및 아키텍처

• 레이크하우스 개념, Delta Lake 개요 및 Databricks 아키텍처
• SMP와 MPP의 차이점 및 마이그레이션에 미치는 영향
• 메달리온(Bronze→Silver→Gold) 디자인 및 Unity Catalog 개요

1일차 랩 — 저장 프로시저 변환

• 샘플 저장 프로시저를 노트북으로 손으로 마이그레이링하는 실습
• 임시 테이블 및 커서를 DataFrame 변환으로 매핑
• 원본 출력과의 검증 및 비교

2일차 — 고급 Delta Lake 및 증분 로딩

• ACID 트랜잭션, 커밋 로그, 버전 관리 및 타임 트래블
• Auto Loader, MERGE INTO 패턴, 업서트(Upsserts) 및 스키마 진화
• OPTIMIZE, VACUUM, Z-ORDER, 파티셔닝 및 저장소 튜닝

2일차 랩 — 증분 수집 및 최적화

• Auto Loader 수집 및 MERGE 워크플로 구현
• OPTIMIZE, Z-ORDER, VACUUM 적용 및 결과 검증
• 읽기/쓰기 성능 향상 측정

3일차 — Databricks에서의 SQL, 성능 및 디버깅

• 분석 SQL 기능: 윈도우 함수, 고차 함수, JSON/배열 처리
• Spark UI 읽기, DAG, 셔플, 스테이지, 태스크 및 병목 진단
• 쿼리 튜닝 패턴: 브로드캐스트 조인, 힌트, 캐싱 및 스피일 감소

3일차 랩 — SQL 리팩터링 및 성능 튜닝

• 무거운 SQL 프로세스를 최적화된 Spark SQL로 리팩터링
• Spark UI 추적을 사용하여 기울어짐(Skew) 및 셔플 문제 식별 및 수정
• Before/After 벤치마킹 및 튜닝 단계 문서화

4일차 — 전술적 PySpark: 절차형 로직 대체

• Spark 실행 모델: 드라이버, 실행자, 지연 평가 및 파티셔닝 전략
• 루프 및 커서를 벡터화된 DataFrame 연산으로 변환
• 모듈화, UDF/pandas UDF, 위젯 및 재사용 가능한 라이브러리

4일차 랩 — 절차형 스크립트 리팩터링

• 절차형 ETL 스크립트를 모듈화된 PySpark 노트북으로 리팩터링
• 매개변수화, 단위 테스트, 재사용 가능 함수 도입
• 코드 리뷰 및 모범 사례 체크리스트 적용

5일차 — 오케스트레이션, 엔드투엔드 파이프라인 및 모범 사례

• Databricks Workflows: 작업 설계, 태스크 의존성, 트리거 및 오류 처리
• 품질 규칙 및 스키마 검증을 갖춘 증분 메달리온 파이프라인 설계
• Git(GitHub/Azure DevOps) 통합, CI 및 PySpark 로직을 위한 테스트 전략

5일차 랩 — 완전한 엔드투엔드 파이프라인 구축

• Workflows로 오케스트레이션된 Bronze→Silver→Gold 파이프라인 조립
• 로그 기록, 감사, 재시도 및 자동화된 검증 구현
• 전체 파이프라인 실행, 출력 검증 및 배포 노트 준비

운영화, 거버넌스 및 프로덕션 준비

• Unity Catalog 거버넌스, 계보(Lineage) 및 액세스 제어 모범 사례
• 비용, 클러스터 사이즈 결정, 오토스케일링 및 작업 동시성 패턴
• 배포 체크리스트, 롤백 전략 및 런북(Runbook) 작성

최종 검토, 지식 전달 및 다음 단계

• 참여자의 마이그레이션 작업 발표 및 교훈 공유
• 격차 분석, 권장 후속 활동 및 교육 자료 전달
• 참고 자료, 추가 학습 경로 및 지원 옵션