Somaz의 IT 공부 일지

온프레미스 환경에서 Ollama + Open WebUI로 사내 LLM 구축하기

Overview최근 AI 기술의 발전으로 ChatGPT, Claude 같은 상용 LLM 서비스가 대중화되었지만, 보안이 중요한 기업 환경에서는 민감한 데이터를 외부 API로 전송하기 어려운 경우가 많다. 이러한 상황에서 온프레미스 환경에 자체 LLM을 구축하면 데이터 보안을 유지하면서도 AI의 이점을 활용할 수 있다. 이번 글에서는 NVIDIA GPU가 장착된 물리 서버에 Ollama를 설치하고, Open WebUI를 통해 웹 인터페이스를 제공하는 사내 LLM 시스템을 구축하는 전체 과정을 다룬다. NFS를 활용한 스토리지 관리와 Docker Compose를 이용한 컨테이너 오케스트레이션까지 포함하여 실무에 바로 적용 가능한 완전한 솔루션을 제시한다. 시스템 구성 및 사전 요구사항 하드웨어 환경..

Docker 이미지 최적화 실전 가이드

Overview개인적으로 이 주제를 깊이 파보고 싶었다. DevOps 엔지니어로 일하면서 비대한 Docker 이미지가 늘 골칫거리였기 때문이다. 특히 Python의 머신러닝 스택이나 Go의 개발 도구들이 포함된 이미지들은 종종 1GB를 넘어가곤 한다. 최근 개인 프로젝트로 다양한 최적화 기법들을 실험해 봤는데, 초기 이미지 크기가 너무 커서 로컬 개발 환경의 디스크 공간을 많이 차지하는 문제가 있었다.배포 시간: 긴 이미지 빌드 및 전송 시간개발 환경: 로컬 디스크 공간 부족보안 취약점: 불필요한 패키지로 인한 잠재적 위험 몇 주간 다양한 최적화 기법을 실험한 결과, 개인 프로젝트의 Python FastAPI 서비스를 1.96GB에서 305MB로, Go API 서버를 1.54GB에서 30MB로 줄이는 데..

Overview네트워크 토폴로지는 컴퓨터 네트워크에서 노드들 간의 물리적 또는 논리적 연결 구조를 의미한다. 올바른 토폴로지 선택은 네트워크의 성능, 확장성, 비용, 관리 복잡성에 직접적인 영향을 미친다. 본 글에서는 현대 네트워크 설계에서 핵심적인 토폴로지 모델들을 비교 분석하고, 각각의 특성과 적용 시나리오를 심층적으로 탐구한다. 특히 클라우드 환경에서 주목받는 허브-스포크 모델을 중심으로 실무적 관점에서 살펴본다. 네트워크 토폴로지 모델 완전 가이드허브-스포크부터 메시까지 네트워크 토폴로지의 기본 이해 토폴로지 분류 체계네트워크 토폴로지는 크게 물리적 토폴로지와 논리적 토폴로지로 구분된다. 물리적 토폴로지 (Physical Topology)실제 케이블과 장비의 물리적 배치..

OverviewAWS는 다양한 유형의 로드 밸런서를 제공하여 애플리케이션의 가용성, 확장성, 보안을 향상시킨다. 각 로드 밸런서는 고유한 특성과 최적화된 사용 사례를 가지고 있어, 올바른 선택이 시스템 성능과 비용에 큰 영향을 미친다. 본 가이드에서는 AWS의 4가지 주요 로드 밸런서(ALB, NLB, CLB, Gateway Load Balancer)의 특징, 성능, 사용 사례를 심층 분석하고, Terraform을 활용한 실제 구현 방법과 비용 최적화 전략을 제시한다. 이를 통해 여러분의 아키텍처에 가장 적합한 로드 밸런서를 선택하고 효율적으로 운영할 수 있는 실무 지식을 제공하겠다. 📅 관련 글2022.02.13 - [AWS] - AWS IAM (Identity and Access Managem..

Overview갑작스러운 서버 정전은 Jenkins 환경에 예상치 못한 문제를 일으킬 수 있다. 특히 정전 전에 개발자가 플러그인을 업데이트한 경우, 재시작 후 플러그인 버전 불일치로 인해 Jenkins가 정상적으로 작동하지 않을 수 있다. 이번 글에서는 서버 정전 후 Jenkins가 깨져서 Job이 보이지 않는 문제를 Jenkins 업그레이드를 통해 해결한 경험을 공유하겠다. macOS, Linux, Docker 컨테이너, Kubernetes 환경 등 다양한 플랫폼별 해결 방법을 다룬다. 문제 상황 발생한 문제갑작스러운 서버 정전으로 Jenkins가 비정상 종료정전 전 개발자가 플러그인을 업데이트했고, 재시작 과정에서 플러그인 버전이 상승Jenkins 재시작 후 UI가 깨지면서 Jo..

Overview 서버 관리에서 하드웨어 모니터링과 원격 관리는 필수적인 요소다. 특히 Supermicro 서버의 경우 IPMI(Intelligent Platform Management Interface)를 통해 강력한 하드웨어 관리 기능을 제공한다. 이번 글에서는 실제 서버 환경에서 IPMI 설정과 팬 제어를 시도했던 과정을 단계별로 살펴보고, 각 단계에서 마주친 문제점과 해결 방법을 공유하겠다. Supermicro 서버 IPMI 설정 및 팬 제어 가이드 서버 환경 확인먼저 서버의 기본 정보를 확인해보았다.sensors... (정상적인 온도 출력) ...sensors | grep -i fan# 아무런 결과도 나오지 않음sudo pwmconfig# pwmconfig version 3.6.0...

Overview2025년 말부터 2026년 초까지, AI 업계에서 가장 주목받는 두 모델이 등장했다. Anthropic의 Claude 4.5 Sonnet과 Google의 Gemini 3 Pro는 각각 2025년 9월과 11월에 출시되어 AI 모델의 새로운 기준을 제시하고 있다. 개발자 관점에서 이 두 모델을 심층 비교해보겠다. 1. 기본 스펙 비교 Claude 4.5 Sonnet출시일: 2025년 9월 29일학습 데이터 기준: 2025년 4월컨텍스트 윈도우: 200K 토큰 (기본), 1M 토큰 (베타)가격: 입력 $3/M 토큰, 출력 $15/M 토큰특징: 코딩 특화, 에이전트 워크플로우 최적화 Gemini 3 Pro출시일: 2025년 11월 18일학습 데이터 기준: 2025년 1월컨텍스트 윈..

Overview터미널에서 바로 AI와 코딩하는 시대가 왔다. Claude Code는 Anthropic에서 만든 CLI 기반 에이전틱 코딩 도구로, IDE를 벗어나 터미널에서 직접 Claude와 대화하며 코드를 작성하고, 수정하고, 디버깅할 수 있다. Claude Code란?Claude Code는 단순한 코드 자동완성 도구가 아니다. 터미널에서 실행되는 에이전트로, 프로젝트의 컨텍스트를 이해하고 파일을 직접 읽고 쓰며, 쉘 명령어까지 실행할 수 있다. 개발자가 자연어로 지시하면 Claude가 알아서 코드를 수정하고 테스트까지 돌려준다. 설치 방법 사전 요구사항macOS 10.15 이상Node.js 18 이상 Node.js가 없다면 먼저 설치한다.# Homebrew로 Node.js 설치b..

OverviewRedis 클러스터는 고가용성과 확장성을 제공하는 강력한 분산 캐시 솔루션이다. 하지만 Kubernetes 환경에서 운영하다 보면 네트워크 분할, 노드 재시작, 설정 문제 등으로 인해 클러스터 상태가 불안정해질 수 있다. 본 글에서는 Redis 클러스터에서 자주 발생하는 "ClusterAllFailedError"와 "Cluster state changed: fail" 문제를 진단하고 해결하는 실무적인 방법을 다룬다. 특히 `slots cache` 갱신 실패 문제부터 클러스터 완전 복구까지의 단계별 접근법을 상세히 알아보겠다. 📅 관련 글2022.09.26 - [Open Source Software] - Redis(Remote Dictionary Server)란?2025.04.02 ..

OverviewAI 기술이 소프트웨어 개발 프로세스를 혁신하고 있는 가운데, Anthropic의 Claude는 단순한 챗봇을 넘어 실질적인 개발 파트너로 자리잡고 있다. 특히 최근 출시된 Claude Code는 커맨드라인 환경에서 직접 코딩 작업을 위임할 수 있는 에이전트 도구로, DevOps 엔지니어와 개발자들에게 새로운 가능성을 제시하고 있다. 이 글에서는 Claude의 최신 모델 패밀리인 Claude 4 시리즈와 터미널 기반의 AI 코딩 어시스턴트인 Claude Code의 특징, 활용 방법, 그리고 실무에서의 적용 사례를 살펴보겠다. Claude 4 모델 패밀리 소개 현재 제공되는 모델Claude 4 패밀리는 현재 다음과 같은 모델들로 구성되어 있다.Claude Opus 4.5: 가장 강력..