Confluent Apache Kafka 관리 교육 과정

모듈 1: Confluent Apache Kafka 클러스터의 아키텍처 및 구성 소개

• 현대 데이터 파이프라인에서 Kafka의 역할
• Apache Kafka와 Confluent Kafka의 차이점
• 핵심 구성 요소: 프로듀서, 컨슈머, 브로커, 토픽, 파티션
• Kafka 클러스터 배포 모델 및 확장성 고려 사항

모듈 2: Zookeeper 쿼럼 구성

• Zookeeper란 무엇인가?
• Kafka 클러스터에서 Zookeeper의 역할
• Zookeeper 쿼럼 크기
• Zookeeper 구성
• 서버에 SSH 구현
• 실습: Zookeeper 구성 (팀 단위 및 서비스 단위)
• Zookeeper 커맨드 라인 인터페이스(CLI) 사용
• 실습: Zookeeper 쿼럼 구성
• Zookeeper 내부 파일 시스템
• Zookeeper 성능에 영향을 미치는 요인
• Zookeeper 및 Zoonavigator 관리 도구 시연

모듈 3: Kafka 클러스터 구성

• 기초 Kafka 개념
• Kafka 구성
• 실습: Kafka 브로커 구성
• 실습: Kafka 명령어 실행
• 실습: Kafka 멀티 브로커 클러스터 구성
• 실습: Kafka 클러스터 테스트
• 내 Kafka 클러스터에 연결할 수 있는가?
• Advertised.listeners 구성: 가장 중요한 설정
• 토픽 구성
• 토픽에서 메시지 다운로드 및 수집(잉레스)을 위한 구성
• 실습: Kafka 내구성(Resilience) 시연
• Kafka 성능: I/O
• Kafka 성능: 네트워크 (RED)
• Kafka 성능: RAM
• Kafka 성능: CPU
• Kafka 성능: 운영체제(OS)
• Kafka 성능: 기타
• 실습: Kafka 브로커 구성 변경 방법

모듈 4: 고급 Kafka 구성

• Landoop Kafka 토픽 사용자 인터페이스, Confluent REST Proxy, Confluent Schema Registry 구성
• 메시지 송수신 (CLI, Java, Spring 프레임워크)
• 모니터링 지표 및 도구 (Confluent Control Center, Elasticsearch 등)
• 로그 파일 및 오프셋 관리
• 고가용성 및 디스aster 복구
• 복제를 통한 고가용성 확보
• 프로듀서 및 컨슈머 성능 튜닝
• 디사스터 복구 전략
• 페일오버 제어 및 데이터 복구
• 커넥터 구성
• Kafka Connect 구현
• Kafka 보안 기능

요약 및 다음 단계