"밑바닥부터 구현하며 이해하는 개발자"
AI/ML의 핵심 알고리즘을 라이브러리 없이 직접 구현하며 깊이 있는 이해를 추구합니다. Kaggle 대회에 참가하며 실전 문제 해결 능력을 키우고 있습니다.
- Reinforcement Learning : DQN부터 PPO, DreamerV3까지
- Generative Models : Diffusion (DDPM/DDIM) from scratch
- Deep Learning Internals : Autograd engine, PyTorch 재구현
- Kaggle : AIMO3 (AI Math Olympiad), Heart Disease 등 활발히 참가 중
밑바닥부터 만드는 AI/ML 구현 시리즈입니다.
| Repository | Description |
|---|---|
| llm-from-scratch | BPE 토크나이저 + GPT 모델 + 학습 + 생성 — 400줄로 만드는 LLM |
| pytorch-from-scratch | Linear Regression부터 Transformer까지 PyTorch로 처음부터 구현 |
| autograd-engine | NumPy만으로 만든 자동 미분 엔진 + 역전파 신경망 학습 |
| diffusion-from-scratch | DDPM & DDIM 논문 구현 — MNIST 기반 이미지 생성 |
| dreamer-from-scratch | DreamerV3 World Model RL 구현 — 모델 기반 강화학습 |
| simpleRL | DQN → A2C → PPO 클린 구현 — 강화학습 기초부터 |
| Competition | Best Score | Highlight |
|---|---|---|
| AIMO3 — AI Mathematical Olympiad | 40/110 (~700th) | GPT-OSS-120B + vLLM + GenSelect |
| Playground S6E2 — Heart Disease | Top 3% | 5-model ensemble, entropy-weighted voting |
Languages & Frameworks
AI/ML
Tools