조민형 (MinHyung Jo)

Machine-Learning, Deep-Learning, Text-to-Speech(TTS), AI에 관심있는 대학생 개발자입니다!

📧 whals467746@gmail.com

📧 orimuchim@dankook.ac.kr

🎓 단국대학교 SW융합대학 모바일시스템공학과(재학)

💬 Discord: 오리무침#7777

🆔 ORCID: 0009-0001-4231-9736

연구 개요

One-Click-VITS-Training을 통한 VITS 훈련 자동화
PolyLangVITS 사전 학습 모델과 다중 언어 텍스트 전처리
BEGANSing 한국어 Singing-Voice-Synthesis(SVS) 개선
주식회사 프라미스(PROMISE) 영어학원 교육 및 총괄 프로그램 전속 계약 체결 (1년~)
적은 컴퓨팅 단위로 음성 합성을 구현하기 위한 EfficientSpeech 연구
EfficientSpeech2 단독 저자 논문 공개 — CTC 기반 한국어 경량 TTS 파이프라인 (Zenodo, 2026)
한양대학교 창업동아리 "엘니뇨" 개발팀 소속
단국대학교 창업동아리 "Quantrum AI" 최고기술책임자
클래스101 AI 모델 최적화와 성능 개선 전략 및 최신 연구 동향 마스터 커리큘럼 제작완료

논문

A CTC-Aligned Lightweight Korean TTS Pipeline without External Aligners

2026년 04월 | Preprint (Zenodo)

단독 저자 · DOI: 10.5281/zenodo.19564646

외부 정렬기(MFA) 없이 CTC 기반 2단계 학습으로 한국어 경량 TTS를 훈련하는 파이프라인 제안. KSS 데이터셋에서 MOS 3.67 달성 (MFA 베이스라인 3.46 대비 +0.21).

🔹 논문 (PDF/DOI) 🔹 코드 🔹 데모 페이지

TTS Korean CTC Alignment Deep Learning Single-Author Paper

경력사항

단국대학교 2025학년도 창업지원단 창업동아리 "Quantrum AI" 최고기술책임자(CTO)

2025년 04월 04일 ~

백엔드 API 로직 설계 및 프로젝트 핵심 기능 구현

프로젝트 인원: 5명 | 역할: 개발, 피드백

HTML JavaScript Backend API Service

단국대학교 SW중심대학 주관 2025 제로톤 최우수상

2025년 03월 29일

프로젝트 인원: 5명 | 역할: 개발, 피드백, 발표

Hackaton Frontend Backend API Service

Nemui Games - 게임 개발 및 스토리 담당

2025년 01월 ~ 현재

게임 제작 프로젝트 - Codename:Violet

프로젝트 인원: 2명 | 역할: 개발, 스토리, 피드백

Visual Novel Unity Story TTS

한양대학교 창업동아리 "엘니뇨" 개발팀

2024년 04월 ~ 2025년 02월

경량화 TTS 개발 및 Voice-Conversion과 다중 언어 전처리 연구

프로젝트 인원: 2명 | 역할: 설계, 개발자, 테스터, 피드백

Python Pytorch TTS VC Quantization IPA

주식회사 프라미스(PROMISE Inc.) 교육 및 총괄 프로그램 전속 계약

2024년 3월 ~ 2025년 10월

교육 및 총괄 프로그램 FullStack 개발

프로젝트 인원: 1명 | 역할: 개발, 테스트, 피드백

🔹 플레이스토어(Android) 🔹 앱스토어(iOS)

JavaScript Node.js Docker Flutter Swift

주식회사 플러스에듀 에듀쎈 영어강사

2024년 08월 ~ 현재

중, 고등학생 영어 과외

프로젝트 인원: 1명 | 역할: 강사

Education English

주식회사 프라미스(PROMISE) 영어학원

2023년 1월 ~ 2024년 11월

영어학원 조교 및 교육 시스템 개선점 연구

프로젝트 인원: 1명 | 역할: 조교

Education English

개인 연구 활동

2022년 12월 ~ 현재

다국어 음성합성 연구와 모델 경량화

프로젝트 인원: 1명 | 역할: 설계, 개발자, 테스터, 피드백

Python Pytorch TTS VC IPA

대외활동

단국대학교 창업동아리 "Quantrum AI" U300+ 성장트랙A

2025년

최종 선발

Startup Tech Accelerator

단국대학교 창업동아리 "Quantrum AI"

2025년 ~

최고기술책임자

Development Backend

한양대학교 창업동아리 "엘니뇨"

2024 ~ 2025년

개발부서 소속

Development TTS Voice Conversion

Naver D2SF

2024년

서류 합격

Startup Tech Accelerator

한양대학교 청년 창업아이템 챌린지 경진대회

2024년

본선 진출

Startup Competition

한양대학교 창업동아리 경진대회

2024년

본선 진출

Startup Competition

한양대학교 U300+ 학생 창업 유망팀 성장트랙

2024년

최종 선발

Startup TTS AI

주요 프로젝트

EfficientSpeech2

CTC 정렬 기반 한국어 경량 TTS 파이프라인 (단독 저자 Zenodo preprint)

🔹 데모 페이지 🔹 논문

Python PyTorch TTS CTC Alignment HiFi-GAN

주요 성과

외부 정렬기(MFA) 없이 CTC 2-stage 학습으로 3.9M 경량 모델에서 MOS 3.67 달성. 단독 저자 preprint로 Zenodo 공개.

CryptoSim

비트코인과 이더리움에 대한 현물/선물 모의투자 시스템 개발

Crypto Node.js JavaScript API Real-time

주요 성과

비동기 처리 및 실시간 데이터 다루는 기술 습득

PolyLangVITS

사전 학습 모델과 다중 언어 텍스트 전처리를 활용한 VITS 학습 간편화

Python Deep Learning TTS IPA

주요 성과

IPA를 통한 다국어 TTS 구현 가능성 탐구 및 최적의 Learning Rate와 Decay 값 도출

One-Click-VITS-Training

한 번의 클릭으로 VITS 학습 자동화 구현

Python Deep Learning TTS Automation

주요 성과

사용자 친화적인 자동화 시스템 구축으로 높은 접근성 실현

Audio-Upsampling

오디오 업샘플링 프로세스 개선 및 사용성 향상

Python Deep Learning Audio Processing

주요 성과

푸리에 변환과 WAV 파일 처리 기술 습득 및 적용

Midi-to-Singing-Voice-Conversion

다국어 SVS 및 RVC 기반 보이스 체인저 구현

Python SVS Voice Conversion MIDI

주요 성과

다국어 텍스트 전처리 시스템 구현 및 MIDI 데이터 처리

BEGANSing

한국어 SVS 시스템 개선 및 기능 확장

Python SVS Voice Conversion Audio Processing

Grad-TTS

Diffusion 기반 TTS 모델 개선 및 사용성 향상

Python TTS Diffusion Model Phoneme Conversion

BARK-RVC

BARK 모델과 RVC를 결합한 보이스 체인저 시스템

Python LLM TTS Voice Conversion

AI-LATTE

ChatGPT와 MB-iSTFT-VITS을 통한 러브딜리버리 히로인 "라떼" 비공식 구현

AI-LATTE 유튜브 Demonstration

Python LLM TTS Fine-Tuning

주요 성과

AI를 활용한 프롬프트 엔지니어링 및 캐릭터 성격 구현

BlueArchiveTTS

넥슨게임즈 블루아카이브 게임 속에 나오는 목소리를 활용하여 TTS 서비스 제작

2024년 10월 기준, 총 이용자 수 약 2만명 돌파

TTS VC Gradio

Korean-Diff-Font

레퍼런스 기반 한글 폰트 생성 프로젝트

Python Deep Learning Latent Diffusion Font Generation

Real-Time-BPM-Analyzer

컴퓨터에서 출력 중인 오디오의 파형을 실시간으로 분석하여 BPM 출력 및 아두이노에 연결된 조명을 점등하는 프로젝트(Deprecated)

Python Audio Processing BPM Detection Arduino Real-time Processing Multithreading

One-Click-Fish-Speech-FT

2024년 기준 TTS SOTA Fish-Speech Fine-Tuning 단순화 프로젝트

Python Audio Processing Fine-Tuning TTS LLM Automation

자격증

정보처리기능사

2024.09.25

자동차 운전면허 2종 보통

2023.02.09

기여한 프로젝트

밀리의 서재 AI팀

딥러닝 기반 TTS 모델의 경량화 및 최적화 조언

Edge-device Preprocessing TTS Optimization

Project-Elnino

한양대학교 창업동아리 "엘니뇨" 개발팀에서 TTS와 VC 모델을 경량화 및 최적화

TTS VC Optimization

MB-iSTFT-VITS2

GPU를 사용할 수 없는 환경에서 CPU를 통한 추론 가능하게 변경

CPU Inference TTS Optimization

versatile_asr

윈도우(Windows) 환경에서 제대로 실행되지 않는 문제를 해결

Windows Bug Fix Audio Processing