Backend & DevOps Engineer

장애가 나도
서비스와 데이터가 버티는
구조를 만듭니다.

유희준입니다. 옥타코에서 여러 고객사가 함께 쓰는 SSO 인증 서비스를 처음부터 만들었습니다. 부트캠프에서는 판매가 열리면 5,000명이 몰리는 사전예약 서비스의 AWS 인프라와 접수 서버를 맡았습니다. 느린 곳은 재서 고치고, 장애와 실패는 운영과 같은 조건으로 직접 재현해 확인합니다.

  • 검색 쿼리 평균 실행 시간 20ms 이전 987ms 옥타코 · 실행 계획 분석과 인덱스
  • 선착순 접수 응답 p50 48ms 이전 521ms 사전예약 NOVA · Lock 대기 제거
  • 판매 오픈 첫 1분 p95 30ms 첫 시험 4.67초 사전예약 NOVA · 부하 시험 후 확장 조정

01

경력과 교육

경력 총 1년 7개월 (정규직 11개월 · 인턴 8개월)

2025.04 – 2026.02

11개월

(주)옥타코

Backend · DevOps · 정규직 · 멀티테넌트 SSO 신규 구축 TF

백엔드

  • 고객사 판별과 업무 앱 로그아웃까지 맡는 세션 관리 서버 개발
  • SpiceDB 접근 제어 설계와 권한 검사 어노테이션 개발
  • 세션 정책 캐시 만료 순간의 DB 조회를 서버당 1회로 묶은 Single Flight
  • Circuit Breaker와 DB Fallback으로 Redis 장애 중에도 세션 인증 유지
  • 50만 건 부하 시험으로 찾은 검색 쿼리를 인덱스로 987ms → 20ms 개선
  • 고객사별 Schema 격리와 실패 시 자동으로 되돌리는 고객사 온보딩

인프라

  • EKS 전환과 Argo CD 기반 GitOps 배포 구축
  • IRSA로 서비스별 AWS 권한 분리
  • NetworkPolicy 기본 차단과 Secrets Manager 도입
  • Probe와 리소스 기준을 정해 Pod 재시작 반복 해소

2024.08 – 2025.03

8개월

(주)모빌씨앤씨

Backend · 대학 연계 인턴

팀 리드

  • 인턴 팀 백엔드 리더로 역할 분배와 코드 리뷰
  • 팀원 숙련도에 맞춰 역할과 예시 코드를 나눠 기한 내 완료

개발

  • 온프레미스에 Docker Compose 기반 MSA 구성
  • Gateway와 Eureka로 라우팅과 서비스 디스커버리
  • Timeout과 Circuit Breaker로 장애 전파 차단
  • 알림을 Polling에서 SSE로 바꾸고 서버 간 전달은 Redis Pub/Sub으로 처리

교육과 자격

2026.04 – 2026.10

교육

LG U+ 유레카 부트캠프

Java/Spring 백엔드 과정 수료

  • 과정 우수 수강생으로 선정되어 수상
  • 7인 팀 프로젝트 NOVA에서 AWS 인프라와 선착순 접수 서버, 대기열 담당

2019.03 – 2025.02

학력

한신대학교

정보통신학부 졸업

자격증

  • CKACertified Kubernetes Administrator2026.09
  • 정보처리기사한국산업인력공단2026.09
  • AWS SAASolutions Architect – Associate2026.07
  • SQLDSQL 개발자2026.06

02

일하는 방식

일할 때 지키는 네 가지 습관입니다. 사례를 누르면 해당 프로젝트 설명으로 이동합니다.

03 · 실패

실패하면 무엇이 남는지부터 봅니다

  1. 중간 실패
  2. 남는 것 확인
  3. 되돌리기
  4. 다시 처리

03

프로젝트

카드를 누르면 프로젝트별 페이지에서 찾은 문제와 해결 과정과 결과를 차례로 볼 수 있습니다.

옥타코 요청 경로, 배포, 자동 확장, 데이터 구성 요약 그림

맡은 일

  • 인증 서버
  • 고객사 데이터 격리
  • 접근 제어
  • EKS GitOps

주요 성과

  • 자동 복구고객사 추가 실패이전 사람이 찾아 삭제
  • 서버당 1회캐시 만료 순간 DB 조회이전 요청 수만큼
  • DB로 자동 우회Redis 장애 중 세션 인증이전 장애 주입 시 전체 인증 실패

실무 · 2025.07 – 2026.01 · 백엔드 3명 TF

자세히 보기

(주)옥타코 멀티테넌트 SSO 인증 서비스

고객사 여러 곳이 함께 쓰는 SSO 인증 서비스를 처음부터 만들었습니다. 회사 계정 하나로 Notion과 Slack 같은 업무 앱에 모두 로그인합니다.

요청 수만큼 → 서버당 1회캐시 만료 순간 DB 조회

  • Java
  • Spring Boot
  • PostgreSQL
  • Redis
  • SpiceDB
  • AWS EKS
  • Argo CD
사전예약 NOVA AWS 아키텍처 요약 그림

맡은 일

  • AWS 인프라
  • Terraform
  • 부하 시험
  • 접수 서버와 대기열

주요 성과

  • 48ms선착순 접수 p50이전 521ms
  • 30ms판매 오픈 첫 1분 p95첫 시험 4.67초

팀 프로젝트 · 2026.09 – 2026.10 · LG U+ 유레카 부트캠프 7인 팀

자세히 보기

사전예약 서비스 NOVA

판매가 열리면 10초 안에 5,000명이 몰리는 사전예약 서비스입니다. AWS 인프라와 사전예약 접수 서버, 대기열을 맡았습니다.

521ms → 48ms선착순 접수 p50

  • Spring Boot
  • MySQL
  • Valkey
  • SQS
  • ECS Fargate
  • Terraform
Search Platform 구조 요약 그림

맡은 일

  • 검색 성능 측정
  • Elasticsearch 전환
  • 검색 정확도 개선
  • 이중 판매 차단
  • 환불 보상

주요 성과

  • 549ms조건이 매번 다른 검색 p95이전 42.7초
  • 새 중복 0건같은 게시글 동시 결제이전 최대 41건

개인 프로젝트 · 2026.01 – 2026.04, 2026.09 · F-Lab 멘토링

자세히 보기

Search Platform, 게시글 검색과 에스크로 결제

중고거래 게시글 500만 건 검색과 에스크로 결제를 다루는 서비스입니다. 검색은 구현마다 같은 부하로 한계를 잰 뒤 Elasticsearch로 옮겼습니다. 결제는 단계마다 실패하면 돈이 어디에 남는지부터 따졌습니다.

42.7초 → 549ms검색 p95

  • Java
  • Spring Boot
  • MySQL
  • Elasticsearch
  • Kafka
  • Debezium
  • k6

드래그하거나 화살표로 넘겨 보세요

04

AI로 개발할 때 지키는 검증 순서

Claude Code로 개발할 때 늘 쓰는 방식입니다. AI가 쓴 코드는 사람이 정한 범위와 테스트를 통과해야 반영됩니다.

애플리케이션

spec과 테스트로 범위를 묶고 운영과 같은 환경에서 검증

  1. spec 먼저기능을 PR 하나 크기의 태스크로 나누고, 목표, 바뀌면 안 되는 동작, 범위 밖 작업, 관련 코드와 DB 제약을 먼저 적어 Claude Code는 그 안에서만 작업. 진행 상태를 남겨 대화를 새로 시작해도 이어서 작업
  2. 테스트로 고정목표는 새 테스트로, 지킬 동작은 회귀 테스트로 고정하고 모두 통과할 때까지 AI가 수정 반복
  3. 운영과 같은 환경Testcontainers로 운영과 같은 버전의 DB와 캐시에서 통합 테스트, Floci의 SQS와 DLQ로 메시지 재처리와 DLQ 이동 확인. GitHub Actions 워크플로는 로컬 Git 서버 Forgejo에서 먼저 돌려 확인
  4. PR 리뷰태스크마다 PR을 올려 CodeRabbit으로 리뷰하고, 트랜잭션 안의 외부 호출 같은 위험 코드는 설정에 적어 PR마다 확인하고, 못 고친 지적은 spec 태스크로 등록

AI가 바꾼 코드는 목표 테스트와 회귀 테스트를 통과하고 리뷰를 거친 것만 병합

인프라

AI는 plan까지만, 실제 AWS 변경은 Atlantis만

  1. AI가 작성AWS 인프라 Terraform 코드는 대부분 Claude Code로 작성
  2. 로컬에서 먼저 적용Floci에 먼저 apply해 적용 오류를 확인
  3. plan까지만AI는 읽기 전용 AWS 역할로 plan까지만 실행
  4. Atlantis만 변경실제 AWS 변경은 PR을 거친 Atlantis만 가능

AI가 잘못 쓴 코드는 로컬 확인과 PR 리뷰에서 걸러지고, 운영 AWS는 Atlantis를 거쳐야만 변경

  • Claude Code
  • Testcontainers
  • Floci
  • CodeRabbit
  • Terraform
  • Atlantis

05

혼자 만들고 운영하는 개인 프로젝트

회사와 팀 프로젝트에서 끝까지 해 보지 못한 주제를 혼자 만들고 운영했습니다. 카드를 누르면 어디까지 만들었고, 어떤 문제를 풀었고, 무엇을 배웠는지 볼 수 있습니다.

06

기술

실무나 프로젝트에서 직접 설계하고 운영해 본 것만 적었습니다.

백엔드

Java Spring Boot Spring Security JPA/Hibernate Flyway Resilience4j

데이터와 메시징

PostgreSQL Redis Kafka MySQL Valkey

인증

OIDC SAML 2.0 SCIM 2.0 Spring Authorization Server SpiceDB

AWS

VPC ALB Route 53 CloudFront WAF EKS ECS Fargate RDS ElastiCache SQS IAM Secrets Manager CloudWatch

Kubernetes

Kubernetes Docker Helm containerd

배포와 IaC

GitHub Actions GitLab CI Argo CD Terraform Trivy Atlantis

보안

Vault Cloudflare Tunnel External Secrets SOPS IRSA NetworkPolicy cosign

관측

Grafana Prometheus OpenTelemetry Tempo Pyroscope Loki Mimir

테스트와 개발

k6 JUnit 5 Testcontainers Claude Code Chaos Monkey Floci

Svalinn

고객사 앱을 OIDC와 SAML로 연결하고 권한 탈취 경로를 재현해 막은 SSO 서버

Svalinn · 멀티테넌트 SSO와 권한 관리 서버 · 2026.07 – 08 · 1인

여러 고객사가 함께 쓰는 SSO 서버입니다. 고객사 관리자가 업무 앱을 OIDC나 SAML 2.0으로 등록하면 직원은 Svalinn에 한 번 로그인해 그 앱들을 씁니다. 고객사가 Okta나 Entra ID 같은 사내 로그인을 이미 쓰고 있으면 로그인은 그쪽에 맡기고 결과만 받아 계정에 연결합니다. 옥타코에서 설계를 맡았던 SSO를 혼자 다시 만들었습니다. 설계와 검증 기준은 제가 정하고 구현은 Claude Code로 했습니다.

Svalinn 전체 구조: nginx 뒤의 모듈러 모놀리스가 고객사 SaaS 앱에는 OIDC와 SAML로 로그인을 제공하고 고객사 사내 로그인(Entra ID, Okta, Google)에는 로그인을 위임하며 인사 시스템과는 SCIM으로 계정을 맞춘다
전체 구조. 고객사 앱에는 OIDC와 SAML로 로그인을 제공하고 고객사 사내 로그인에는 로그인을 위임합니다. 인사 시스템과는 SCIM으로 계정을 맞춥니다.

어디까지 만들었나

앱 연동
OIDC ProviderSAML 2.0 IdP고객사별 앱 등록OIDC 백채널 로그아웃과 SAML SLO
로그인 위임
고객사 OIDC·SAML 로그인 연결첫 로그인 시 계정 생성SCIM 2.0 인사 연동
권한
역할과 세부 권한거부 규칙하위 관리자 위임민감 작업 재인증MFA와 패스키
격리와 운영
PostgreSQL RLS 고객사 격리로그아웃 전파 재시도고객사별 인증서 자동 발급
검증
Testcontainers 통합 테스트위조 SAML 응답 시험관리자 API 검사 누락 CIk6 부하 시험
기술
Java 21Spring Boot 4Spring Authorization ServerSpring ModulithOpenSAML 5PostgreSQL 17Redis 7React 18

아직 못 한 것다른 고객사 데이터 쓰기를 막는 것은 21개 영역 중 18개까지만 확인했습니다. refresh token으로 토큰을 갱신할 때 계정 상태를 다시 확인하지 않아 퇴사 처리 중 발급 기록 삭제가 실패하면 갱신이 계속됩니다. client secret 해시에 쓰는 서버 키를 서비스 중단 없이 바꾸는 기능도 아직 없습니다.

풀어 본 문제

01사내 로그인 위임을 악용한 고객사 관리자 계정 탈취 차단

고객사 사내 로그인으로 위임한 결과를 검증한 뒤 저장해 둔 연결, 외부 ID, 검증된 이메일 순서로 계정을 찾고 연동 기록이 없는 관리자 계정은 자동으로 연동하지 않는 흐름. 퇴사는 SCIM으로 받아 바로 차단한다
사내 로그인에 위임한 결과를 검증하고 계정을 찾는 순서. 연동 기록이 없는 관리자 계정은 자동으로 연동하지 않습니다.

문제

고객사는 OIDC나 SAML 기반 사내 로그인 시스템을 등록해 사용자 인증을 위임할 수 있었습니다. 보안 테스트 중 사내 로그인 등록 권한을 가진 하위 관리자가 가짜 로그인 시스템을 등록하고 고객사 최고 관리자와 동일한 이메일을 인증 결과에 포함해 보내면 기존 관리자 계정에 자동 연동되어 로그인할 수 있는 취약점을 발견했습니다.

한 일

기존에는 사내 로그인으로 처음 접속한 사용자의 이메일이나 인사 시스템 ID가 기존 계정과 일치하면 자동으로 연동했습니다. 이를 개선해 최초 연동 대상이 관리자 계정이라면 자동 연동을 거부하도록 변경했습니다. 일반 사용자로 연동한 뒤 관리자로 승격된 계정은 기존 연동을 유지하고 연동 기록이 없는 관리자는 Svalinn 자체 로그인을 사용하도록 정책을 분리했습니다.

또한 연동 관계를 로그인 시스템의 발급자(Issuer)와 사용자 식별자(Subject) 조합으로 관리해 동일한 이메일을 사용하는 다른 로그인 시스템이 기존 연동을 가장할 수 없도록 했습니다. 발급자나 서명 인증서 변경으로 기존 연동을 무효화하는 경우에는 해당 연동으로 발급된 세션도 함께 종료하도록 처리했습니다.

결과

관리자 계정 탈취 차단

가짜 로그인 시스템이나 인사 시스템 ID를 이용한 관리자 계정 자동 연동이 거부되는 것을 테스트로 확인했습니다. 추가로 SAML 응답 재전송, 서명된 응답의 사용자 정보 변조, 요청하지 않은 응답 전송 등 주요 공격 시나리오를 검증해 모두 차단되는 것을 확인했습니다.

02일반 로그인만으로 통과되던 민감 작업 재인증

# 고치기 전: 로그인 때도 갱신되는 인증 시각 하나만 확인
long sinceAuth = now - session.get(AUTH_TIME);
if (sinceAuth <= window) return true;

# 고친 뒤: 재인증 API만 남기는 시각과 인증 수단을 함께 확인
long sinceStepUp = now - session.get(STEPUP_TIME);
boolean strongEnough = policy.stepUpFactors().contains(session.get(STEPUP_FACTOR));
if (strongEnough && sinceStepUp <= window) return true;
return challenge(policy.stepUpFactors());
민감 작업을 검사하는 코드에서 발췌해 줄였습니다. 기록이 없으면 통과하지 않습니다.

문제

역할 변경이나 서명 키 교체처럼 계정과 보안에 영향을 주는 관리자 작업은 OTP나 패스키 등 정책에서 정한 수단으로 재인증해야 실행되도록 설계했습니다. 하지만 기존에는 마지막 인증 시각만 확인했고 이 값은 일반 로그인에도 갱신되고 있었습니다. 그 결과 비밀번호로 로그인한 직후에는 별도의 재인증 없이 민감 작업을 실행할 수 있었고 더 강한 인증 수단을 요구하는 정책도 우회할 수 있었습니다.

한 일

일반 로그인과 민감 작업을 위한 재인증 기록을 분리했습니다. 재인증 API를 통해 인증을 완료한 경우에만 별도의 인증 시각과 사용한 인증 수단을 기록하고 일반 로그인으로는 해당 기록을 갱신할 수 없도록 변경했습니다. 민감 작업을 실행할 때는 재인증 기록이 정책에서 정한 유효 시간 내에 있는지, 사용한 인증 수단이 허용된 수단인지 모두 확인하도록 했으며 기록이 없거나 조건을 충족하지 못하면 실행을 거부하도록 했습니다.

추가로 재인증을 시작한 뒤 완료하지 않고 중단한 경우 진행 중이던 재인증 요구가 세션에 남아 이후 정상적인 재인증까지 차단하는 문제도 발견했습니다. 재인증 요구에 유효 시간을 적용해 중단된 인증 절차가 이후 요청에 영향을 주지 않도록 개선했습니다.

결과

정책 수단으로만 통과

일반 로그인만 수행한 세션, 정책보다 약한 수단으로 재인증한 세션, 재인증 기록이 없는 세션은 민감 작업이 거부되고 정책에서 허용한 수단으로 재인증을 완료한 세션만 통과하는 것을 테스트로 확인했습니다.

03테스트는 통과했지만 RLS가 비활성화되어 있던 고객사 격리

요청 Host로 고객사를 정하고 커넥션을 빌릴 때마다 고객사 값을 설정해 PostgreSQL RLS로 격리하는 구조. superuser면 기동을 거부하는 검사와 트랜잭션 중 고객사가 바뀌면 커넥션을 다시 설정하는 부분을 추가했다
요청 주소로 고객사를 정하고 커넥션을 빌릴 때마다 RLS용 고객사 값을 설정합니다. 노란 칸이 결함을 고치며 추가한 부분입니다.

문제

고객사 간 데이터 접근을 막기 위해 애플리케이션의 고객사 조건과 PostgreSQL RLS(Row Level Security)를 함께 적용했습니다. 하지만 실제로는 애플리케이션이 DB Superuser 계정으로 접속하고 있어 RLS가 적용되지 않고 있었습니다. 테스트도 동일한 권한의 계정으로 실행해 이 문제를 발견하지 못했습니다.

이후 운영과 동일한 일반 DB 계정으로 검증하는 과정에서 또 다른 문제가 드러났습니다. 하나의 트랜잭션 안에서 고객사 컨텍스트가 변경되면 이미 확보한 커넥션에는 이전 고객사 정보가 남아 있어 변경된 고객사 기준으로 조회되지 않았습니다.

한 일

먼저 DB 마이그레이션 계정과 애플리케이션 계정을 분리하고 애플리케이션 계정에 RLS를 우회할 수 있는 권한이 있거나 Superuser인 경우 서버가 기동되지 않도록 검사했습니다. 이를 통해 RLS가 비활성화된 상태로 서비스가 실행되는 것을 방지했습니다.

또한 커넥션을 빌릴 때마다 고객사 컨텍스트를 설정하고 트랜잭션 도중 고객사가 변경되는 경우에도 현재 사용 중인 커넥션에 변경된 고객사 정보를 다시 설정하도록 수정했습니다.

결과

고객사 간 조회 차단

일반 DB 계정으로 서명 키와 사내 로그인 연동 등 21개 영역에서 다른 고객사의 데이터 조회가 차단되는 것을 확인했으며 18개 영역에서는 타 고객사 데이터에 대한 쓰기 차단까지 검증했습니다.

배운 점

  • DB 권한과 보안 정책은 테스트 환경에서도 운영과 동일한 조건으로 검증해야 합니다

    DB를 모킹한 테스트나 Superuser 계정으로 실행한 테스트는 RLS가 실제로 적용되는지 검증할 수 없었습니다. 이후 통합 테스트도 운영과 동일한 일반 DB 계정으로 실행하도록 변경했습니다.

04토큰 발급 처리량을 제한하던 Client Secret 해시 개선

# 부하를 건 채 2초 간격으로 6번 덤프
$ for i in 1 2 3 4 5 6; do jstack $PID > js-$i.txt; sleep 2; done

# 요청 스레드 하나 (개선 전)
"http-nio-9000-exec-1" #59 ... RUNNABLE
    at ...crypto.bcrypt.BCrypt.crypt_raw(BCrypt.java:558)
    at ...crypto.bcrypt.BCrypt.checkpw(BCrypt.java:768)
    at ...ClientSecretAuthenticationProvider.authenticate(...:125)

# 요청 스레드를 스택별로 분류
개선 전  request_threads=312  {'BCrypt': 269, 'JDBC': 22, 'RSA sign': 2, 'io': 2}
개선 후  request_threads=306  {'JDBC': 53, 'io': 15, 'RSA sign': 7}  waiting_for_db_connection=220
실제 덤프와 분류 결과에서 발췌. 개선 전에는 요청 스레드 312개 중 269개가 BCrypt 계산 중이었습니다.

문제

Client Credentials 방식의 서버 간 토큰 발급 API를 k6로 동시 사용자 50명 조건에서 측정한 결과 초당 78건의 처리량과 1,049ms의 p95 응답 시간을 기록했습니다. 동시 사용자를 늘려도 처리량은 증가하지 않고 응답 시간만 길어져 병목 원인을 분석했습니다.

한 일

부하가 발생하는 동안 2초 간격으로 6번의 스레드 덤프를 수집하고 요청 스레드의 스택을 분류했습니다. 전체 요청 스레드 312개 중 269개가 BCrypt 해시 계산에 머물러 있는 것을 확인했습니다.

원인은 서버가 생성하고 보관하는 Client Secret에도 사용자 비밀번호와 동일한 BCrypt를 사용하고 있었기 때문입니다. 사용자 비밀번호는 유출 시 대입 공격에 대비해 느린 해시가 필요하지만 서버가 생성하고 검증하는 Client Secret은 별도의 키를 사용하는 HMAC-SHA256으로 해시해 저장하도록 변경했습니다. 사용자 비밀번호의 BCrypt 검증은 그대로 유지했습니다.

결과

초당 78건 → 563건

동일한 부하 조건에서 토큰 발급 처리량이 초당 78건에서 563건으로 약 7.2배 증가했고 p95 응답 시간은 1,049ms에서 143ms로 약 86% 감소했습니다.

개선 후 다시 수집한 스레드 덤프에서는 BCrypt 병목이 사라지고 DB 커넥션 대기가 주요 병목으로 나타났습니다. 노트북 한 대에서 측정한 결과이므로 절대 성능보다는 동일 환경에서의 개선 전후 비율에 의미를 두었습니다.

보안 점검: 재현해 본 탈취 시나리오

관리자 위임과 사내 로그인 연동에서 관리자가 맡은 권한을 넘어서거나 남의 계정에 들어갈 수 있는 경로를 시나리오로 정해 막았습니다. 강조한 줄은 만든 뒤에 실제로 찾아 고친 결함이고 나머지는 설계 때 위협으로 정해 미리 막은 것입니다.

시나리오막은 방법
최고 관리자와 같은 이름의 역할을 만들어 자기에게 부여역할 이름이 아니라 실제로 부여된 세부 권한으로 판단
하위 관리자가 자기보다 높은 역할을 자기나 다른 사람에게 부여줄 역할의 세부 권한이 모두 자기 권한 안에 있을 때만 허용
CSV 일괄 생성으로 높은 역할이 걸린 그룹에 계정 생성그룹 지정에도 역할을 직접 줄 때와 같은 기준 적용
사용자를 그룹에서 빼서 거부 규칙 해제사용자를 그룹이나 역할에서 빼는 모든 API에서 거부 규칙 해제 권한 검사
한 고객사 관리자가 모든 고객사의 공통 역할 수정수정과 삭제 전에 소속 고객사 확인
관리자 API 하나에 권한 검사 누락검사가 빠진 관리자 API가 생기면 CI 실패
가짜 사내 로그인으로 최고 관리자 계정에 로그인사내 로그인 계정을 관리자 계정에 자동 연동하지 않고 역할을 모르면 거절 (01)
비밀번호로 막 로그인한 관리자가 재인증 없이 민감한 설정 변경재인증 API에서 정책 수단으로 인증한 기록만 인정하고 기록이 없으면 거절 (02)
서명 인증서만 바꿔 등록해 기존 연결로 남의 계정에 로그인발급자, 클라이언트 ID, 서명 인증서가 바뀌면 연결 삭제
퇴사자 메일을 이어받은 입사자가 퇴사자 계정으로 로그인이메일 대신 사내 로그인의 사용자 ID로 찾고 이메일로 찾기는 기본으로 끔
SAML 응답을 재사용하거나 다른 브라우저에 넣어 로그인한 번 쓴 응답, 요청하지 않은 응답, 로그인을 시작하지 않은 브라우저의 응답 거절
퇴사 후에도 연동 앱이 refresh token으로 토큰을 계속 재발급계정을 막을 때 세션과 함께 토큰 발급 기록 삭제
퇴사자가 이미 로그인한 앱을 계속 사용퇴사 정보를 받으면 계정을 막고 연동 앱에 로그아웃 전송
홈랩 Kubernetes

홈랩 Kubernetes

저장소 보기

서버 두 대에 Kubernetes를 직접 설치해 운영하는 홈랩

홈랩 Kubernetes 플랫폼 · kubeadm 2노드 베어메탈 · 2026.05 – 06 · 1인

집에 있는 베어메탈 서버 두 대에 kubeadm으로 Kubernetes를 직접 설치하고 개인 프로젝트를 올려 운영합니다. 공인 IP 없이 외부에 서비스하며 처음 설치하는 Cilium과 Argo CD 말고는 모든 컴포넌트를 Git 저장소 하나에서 Argo CD App of Apps로 동기화합니다.

홈랩 클러스터 구조: Cloudflare Tunnel로 들어와 Cilium Gateway를 거쳐 네임스페이스별 앱, Argo CD, Vault, 데이터, 모니터링으로 이어지는 2노드 클러스터
전체 구조. 외부 요청은 Cloudflare Tunnel로만 들어오고 클러스터 안 컴포넌트는 Argo CD가 Git에서 가져와 배포합니다.

어디까지 만들었나

클러스터
Rocky Linuxkubeadm v1.35containerdCiliumGateway API
배포
GitLab CIcosign 서명 검증Argo CD App of AppsRenovate
보안
Cloudflare TunnelCloudflare Accessdefault-deny NetworkPolicyVaultExternal SecretsRBAC
데이터
CloudNativePGStrimzi KafkaECK ElasticsearchRedisMongoDBMinIOLonghorn
관측
PrometheusGrafanaLokiTempoHubble

아직 못 한 것클러스터에 들어올 때 서명을 한 번 더 검사하는 Kyverno는 다음 과제입니다. GitLab Free 티어라 Container Scanning과 Secret Detection은 리포트만 남기고 배포를 막지는 못합니다.

풀어 본 문제

01누가 만든 이미지인지 확인하지 않고 배포하던 문제

앱 저장소 CI가 빌드와 서명 후 GitOps 저장소에 커밋하고, GitOps 저장소 CI가 서명을 검증해 release 브랜치로 옮기면 Argo CD가 배포하는 흐름
앱 저장소에서 서명하고 GitOps 저장소에서 검증을 통과해야 release 브랜치로 넘어갑니다. 빨간 칸은 실패하면 멈추는 단계입니다.

문제

helm install로 직접 올린 20여 개 컴포넌트는 변경 이력이 남지 않았습니다. 태그는 덮어쓸 수 있어 같은 태그가 다른 이미지를 가리킬 수 있었고 CI를 거치지 않은 이미지가 들어와도 막을 장치가 없었습니다.

한 일

앱 CI가 GitLab CI의 OIDC 토큰으로 이미지에 cosign 서명을 합니다. GitOps 저장소 CI는 이미지를 만든 저장소의 main CI가 서명했는지와 digest로 고정했는지 확인한 뒤 통과한 커밋만 release 브랜치로 옮깁니다. Argo CD는 release 브랜치만 동기화합니다.

결과

서명된 이미지만

CI를 거치지 않았거나 태그로 참조했거나 다른 저장소가 서명한 이미지는 release 브랜치에 닿지 못합니다. 롤백은 git revert로 합니다.

배운 점

  • 배포 이력이 Git에 남아야 되돌릴 수 있습니다

    helm install로 올린 컴포넌트는 언제 무엇이 바뀌었는지 알 수 없었습니다. release 브랜치만 배포하게 바꾸자 배포 기록이 곧 커밋 기록이 됐고 롤백도 커밋 하나를 되돌리는 일이 됐습니다.

02집 네트워크라 포트 하나가 곧 공격 지점이 되던 문제

사용자는 Cloudflare Access와 Tunnel을 거쳐 Cilium Gateway로 들어오고, 네임스페이스마다 default-deny, 메일은 SMTP 도메인만 허용, 운영자는 인증서와 ClusterRole로 접근
외부 진입과 네임스페이스 간 통신, 운영자 권한 모두 기본으로 막고 필요한 경로만 열었습니다.

문제

Pod끼리 모두 통신할 수 있어 서비스 하나가 뚫리면 DB와 관리 도구까지 닿았습니다. 외부에 서비스하려면 공유기 포트를 열어야 했고 비밀번호 일부는 Git에 평문으로 있었습니다.

한 일

Cloudflare Tunnel로만 노출하고 관리 도구는 Access 인증을 한 번 더 거치게 했습니다. 네임스페이스마다 default-deny를 두고 필요한 경로만 열었습니다. Git에 평문으로 있던 비밀번호는 Vault로 옮기고 External Secrets로 받아 쓰게 했습니다.

결과

열린 포트 0

네임스페이스 사이에는 허용한 경로로만 통신합니다. Git에는 평문 비밀번호가 남아 있지 않습니다.

배운 점

  • 기본 차단은 무엇을 열어야 하는지 아는 일이었습니다

    기본 차단을 켜자 평소 보이지 않던 DB 오퍼레이터의 상태 확인과 API 서버의 웹훅 호출이 먼저 막혔습니다. 이 두 통신이 막힌 것이 DB 인스턴스와 Kafka Pod가 뜨지 않은 원인이 됐습니다.

  • Git과 클러스터가 다르면 GitOps도 믿을 수 없습니다

    정책이 없다고 생각한 네임스페이스에서 통신이 막혀 살펴보니 예전에 직접 적용한 정책이 Git 밖에 남아 있었습니다. 그 정책을 Git에 올려 둘을 맞췄습니다.

03CNI를 바꾸다 클러스터 DNS가 멈춘 장애

DNS 장애에서 네트워크 정책, kube-proxy 가설을 기각하고 Hubble 관찰과 전수 조사로 남은 calico-node를 찾아 복구한 순서
가설을 하나씩 지워 간 순서
Calico, kube-proxy, MetalLB, Envoy Gateway를 Cilium CNI, eBPF 서비스 처리, LB-IPAM, Cilium Gateway API로 4단계에 걸쳐 바꾼 구성
복구 뒤 네 단계에 걸쳐 Cilium 하나로 합친 구성

문제

도메인 단위로 외부 통신을 허용하려고 Calico에서 Cilium으로 노드를 하나씩 옮기던 중 여러 네임스페이스의 DNS가 한꺼번에 응답하지 않았습니다. 이상하게도 Redis만 정상이었습니다.

한 일

새 네트워크 정책과 kube-proxy를 차례로 의심했지만 원인이 아니었습니다. Hubble에서 실패한 요청은 차단 기록조차 없어 Cilium이 패킷을 보지 못한다고 판단했습니다. Pod를 전수 조사해 두 노드에 남아 있던 calico-node를 찾았습니다.

결과

바로 복구

지우지 않은 Calico의 iptables 규칙이 원인이었습니다. Calico를 지우자 DNS가 돌아왔고 이후 kube-proxy와 MetalLB, Envoy Gateway까지 Cilium 하나로 합쳤습니다.

배운 점

  • GitOps 클러스터에서는 자동 동기화를 멈추고 원인을 시험해야 합니다

    네트워크 정책이 원인인지 보려고 정책을 지웠지만 Argo CD가 몇 초 만에 다시 만들어 놓아 실제로는 정책이 있는 상태에서 시험한 셈이었습니다. 원인을 하나씩 배제할 때는 Argo CD 자동 동기화를 먼저 멈추고 바꾼 상태가 유지되는지 확인한 뒤 결과를 봐야 합니다.

04디스크 용량은 남았지만 볼륨을 생성하지 못하던 Longhorn 스토리지 장애

노드 상태와 실제 디스크는 정상이었고 Longhorn이 root 파티션 70G만 디스크로 등록해 자리가 부족했던 원인을 찾은 순서와, /home 391G를 Longhorn 디스크로 추가하고 옛 볼륨과 복제본을 정리한 조치
원인을 찾은 순서와 조치 뒤 Longhorn 디스크 구성

문제

Prometheus와 Alertmanager, Kafka Pod가 PersistentVolume을 마운트하지 못해 시작되지 않았습니다. Longhorn에서는 새 볼륨이 Faulted 상태가 됐지만 두 노드 모두 정상이었고 실제 디스크에도 여유 공간이 남아 있었습니다.

한 일

노드 상태가 아닌 Longhorn의 디스크 할당 상태와 볼륨 배치 정책을 추적했습니다. 확인 결과 Longhorn은 70GB root 파티션만 스토리지로 사용하고 있었고 별도로 마운트된 391GB /home 파티션은 디스크로 등록되지 않아 활용하지 못하고 있었습니다.

여기에 볼륨 복제본을 서로 다른 노드에 두는 정책과 재설치 과정에서 Retain 정책으로 남은 기존 볼륨이 가용 공간을 점유하면서 새 볼륨을 배치할 공간이 부족해진 상황이었습니다.

두 노드의 /home 파티션을 Longhorn 디스크로 추가하고 root 파티션에는 새 볼륨이 배치되지 않도록 설정했습니다. 기존 Retain 볼륨을 정리하고 자체 복제 기능을 갖춘 Kafka는 중복 복제 비용을 줄이기 위해 Longhorn 복제본을 하나로 조정했습니다.

결과

모든 볼륨 정상

Faulted 상태에 빠졌던 볼륨을 정상화하고 Prometheus와 Alertmanager, Kafka Pod를 모두 복구했습니다.

배운 점

  • 스토리지는 쓸 디스크를 직접 지정해야 합니다

    Longhorn은 데이터 경로가 있는 파일시스템만 보고 다른 디스크를 알아서 찾지 않았습니다. 재설치가 잦은 볼륨은 Retain 대신 Delete로 두고 애플리케이션이 직접 복제하는 데이터는 스토리지 복제를 겹쳐 두지 않습니다.

05로컬에만 있어 잃어버리면 다시 조회해야 하던 비밀 값 관리 문제

이전에는 kubectl로 만든 Secret의 원본이 로컬에만 있어 잃어버리면 다시 조회해야 했고, 이후에는 Git에 ExternalSecret 참조만 두고 External Secrets가 Kubernetes 인증으로 Vault에서 값을 읽어 Secret을 만드는 구조
비밀 값은 Vault에만 두고 Git에는 어디서 가져올지만 적었습니다.

문제

비밀 값은 Git에 올리지 않고 kubectl create secret으로 클러스터에 바로 넣었기 때문에 원본이 제 로컬 파일에만 있었습니다. 로컬 파일을 잃어버리면 클러스터에서 Secret을 다시 조회해 base64를 풀어야 했고, 클러스터를 다시 만들면 값을 되찾을 곳이 없었습니다.

한 일

직접 만든 Secret과 로컬 파일을 모두 정리하고 비밀 값은 Vault KV v2에만 두었습니다. Git에는 Vault 경로와 키 이름만 적은 ExternalSecret을 커밋하고 Argo CD가 이를 동기화합니다.

External Secrets는 ClusterSecretStore 하나로 Vault의 Kubernetes 인증을 거쳐 값을 읽고 Secret을 만듭니다. Argo CD Secret처럼 차트가 이미 만드는 Secret은 덮어쓰지 않고 키만 합쳐 넣었습니다.

결과

Git에 평문 없음

데이터 저장소와 모니터링, Argo CD, Keycloak의 비밀 값을 모두 ExternalSecret으로 받아 씁니다. 로컬 파일을 따로 챙길 필요가 없어졌고 클러스터를 다시 만들어도 Vault에서 값을 그대로 가져옵니다.

배운 점

  • Git 밖에서 따로 챙겨야 하는 값은 구조가 틀렸다는 신호였습니다

    GitOps는 Git이 원본이어야 하는데 비밀 값만 예외였습니다. 로컬에서 따로 챙기는 대신 원본을 Vault로 옮겨 예외 자체를 없앴습니다. 대신 Vault가 재시작되면 봉인된 상태로 떠서 직접 unseal해야 하는 운영 부담이 생겼습니다.