현재 ICTWAY에서 3D GIS 엔진을 고도화하고, 대규모 공간 데이터를 안정적으로 처리하는 분산 빌드 파이프라인을 설계하고 있습니다.

• 💼 ICTWAY | 3D GIS 엔진 & 백엔드 엔지니어 (2024.12 ~ 재직중)
• 🎓 전북대학교 IT정보공학과 B.S. (2019.03 ~ 2025.02)
• 🚀 소프트웨어 마에스트로 15기 연수생 (2024.04 ~ 2024.11)

• 문제 정의: 기존 NFS 기반 SQLite 공유 구조에서 다중 서버가 단일 DB 파일에 접근하며 발생하는 I/O Lock 경합 및 수평 확장 불가 문제
• 설계 및 해결책:
  • 저장소 분리 및 CQRS 적용: 메타데이터는 동시성 제어가 강한 PostgreSQL로, 타일 데이터(3D Model)는 S3, SeaweedFS 등 (분산 스토리지) 로 이관. 빌드(Command)와 조회(Query)의 물리적/논리적 경로를 분리하여 I/O 병목 제거
  • 이벤트 파이프라인: Kafka와 Consumer Group을 도입하여 워커 노드를 유연하게 증설할 수 있는 비동기 분산 처리 환경 구축
• 구현 포인트: Transactional Outbox Pattern을 적용하여 DB 상태 변경과 이벤트 발행의 원자성(Atomicity) 보장
• 결과: I/O Lock 경합 해소로 서비스 안정성 확보 및 워커 노드 증설에 따른 선형적 확장(Scale-out) 가능

• 문제 정의: 일부 영역 수정 시에도 전체 데이터를 다시 빌드해야 하는 비효율(수백 시간) 및 이력 관리(History)의 부재
• 설계 및 해결책:
  • Git-like 버전 관리: 타일 데이터에 Content-Addressable Storage(CAS) 방식을 적용, 변경된 노드만 새로운 해시로 저장하고 변경 없는 노드는 기존 해시를 포인팅하는 Merkle Tree구조 설계
  • Selective Rebuild: 변경된 공간 범위(BBox)를 감지하여 영향받는 타일만 부분적으로 재생성하는 증분 빌드(Incremental Build) 구현
• 결과: 전체 재빌드(수백 시간) → 변경 구간만 수 분(Minute) 내 재빌드 가능, 중복 데이터 제거(Deduplication)로 스토리지 비용 최적화

• 문제 정의: 3D 모델 렌더링 시 발생하는 트리 탐색 병목 및 대용량 메타데이터 전송 지연
• 설계 및 해결책: Explicit JSON 구조를 Implicit Tiling(규칙 기반 인코딩) 으로 전환하여 랜덤 액세스 구현
• 구현 포인트: 타일 탐색 알고리즘을 트리 탐색 $O(\log_{4} N)$에서 좌표 기반 랜덤 액세스 $O(1)$ 로 최적화
• 결과: 렌더링 FPS 약 30% 향상, 메타데이터 용량 30~40% 절감

• EDA (Event-Driven Architecture): Kafka를 활용한 결합도 낮은(Decoupled) 대용량 파이프라인 설계
• Storage Optimization: 파일 시스템과 오브젝트 스토리지(SeaweedFS, MinIO)의 I/O 특성을 고려한 최적화
• Reliability: 장애가 발생해도 데이터가 유실되지 않는 내결함성(Fault Tolerance) 구조 설계

• Distributed Transaction: MSA 환경에서 SAGA, Outbox 패턴을 통한 최종적 일관성(Eventual Consistency) 확보
• Resilience: 네트워크 단절과 실패를 변수가 아닌 상수로 가정하고, 멱등성과 재시도 전략을 통해 회복 탄력성 확보

시스템 설계의 근거와 오픈소스 동작 원리를 학습하고 정리하는 것을 좋아합니다. 👉 블로그 전체 보기 (virtualworld.tistory.com)

• [Network] 신뢰성을 위한 Timeout 처리와 멱등성 설계 전략
  • 네트워크 예외 상황을 고려한 시스템 일관성 보장 전략
• [Database] [Log-based System] RDBMS와 Kafka 구조 분석
  • 데이터의 영속성을 보장하는 Log 중심 설계 철학(WAL vs Commit Log) 비교
• [Operating System] [Zero-Copy] 파일 전송 최적화와 Kafka 코드 분석
  • sendfile 시스템 콜과 커널 버퍼 복사 비용 최적화 원리 분석
• [Database] CAP 이론과 PACELC 트레이드오프 정리
  • 분산 시스템에서 마주하는 일관성과 가용성 사이의 선택지 정리
• [GIS / Data Structure / Algorithm] 대규모 공간 데이터 처리와 Implicit Tiling 설계
  • $O(1)$ 탐색을 위한 공간 자료구조 설계 및 구현기
• [Algorithm] [Z-order Indexing] 공간 데이터 최적화
  • 대규모 공간 데이터 인덱싱 전략

• Email: liging12@naver.com
• LinkedIn: linkedin.com/in/minseojo
• Blog: virtualworld.tistory.com