01
Team · 2025.08 - 2025.12AI · AIBE · Infra · PM
DOGTOR
온디바이스 AI 기반 애완견 케어 서비스
OceanLight와 협업한 2025학년도 2학기 캡스톤 프로젝트로, 반려견 케어와 동물병원 연계를 돕는 온디바이스 AI 서비스를 구현했습니다. 2026 AI Expo Korea 국제인공지능대전에 3일간 출품되었습니다.
핵심 성과7B 모델 15GB를 4.1GB GGUF로 경량화하고 FastAPI inference 서버에서 preload 구조를 적용했습니다.
- Qwen2.5-7B-Instruct 모델을 llama.cpp 기반 4bit GGUF로 양자화
- 수의사 대화 QA 데이터 2,000개를 전처리하고 paraphrasing, 역번역으로 증강
- API 요청마다 모델을 재로드하지 않도록 lifespan 기반 LLM preload 구성
온디바이스-AI 개발
- 산학연계 회사 과제 내용 완수를 위해 온디바이스 AI 개발
- llama.cpp를 활용해 7B 모델 약 15GB를 4bit GGUF 4.1GB로 양자화
데이터셋 전처리
- 실제 수의사 대화 QA 데이터 전처리와 증강 진행
- 기존 데이터 2,000개를 4배 증강하고 중복 데이터 삭제와 질문 paraphrasing 진행
모델 Lifespan 설정
- FastAPI 기반 inference 서버 구축
- 서버 startup 단계에서 LLM 모델을 preload해 API 요청마다 모델 재로드 방지
상황
랜덤 삽입·제거 증강 후 모델 답변의 문맥이 깨지고 정확도가 감소
해결방향
문맥과 의미를 살릴 수 있는 paraphrasing과 역번역 증강으로 다시 학습
결과
문장 의미와 문맥이 깨지는 문제를 줄이고 질문 의도와 더 자연스럽게 연결되는 출력 확인