[Stanford CS329A] 2강. 추론 시 계산 확장: 반복 생성·검증·탐색으로 더 좋은 답 얻기

TL;DR

모델을 다시 학습하지 않아도, 답을 여러 번 생성하고 수정·탐색하는 데 계산을 더 쓰면 문제 해결 범위를 넓힐 수 있다.
다만 후보 안에 정답이 있다는 사실과 실제로 정답을 골라 전달하는 능력은 다르며, 검증기의 품질이 성능을 좌우한다.
병렬 생성·순차 수정·검증을 문제 난이도와 예산에 맞게 조합해야 한다.

Stanford CS329A: Self-Improving AI Agents의 두 번째 강의는 “이미 가진 모델에게 더 많은 시도와 검토 기회를 주면 어디까지 좋아질까?”를 다룬다. 반복 샘플링의 법칙 → 검증의 병목 → 계산 예산 배분 → 추론 구조의 자동 설계가 핵심 흐름이다.

강사: Azalia Mirhoseini · 강의일: 2025년 9월 26일 · 원본 영상
강의와 슬라이드를 한국어로 요약한 학습 노트다. 모델 비교는 강의와 해당 연구의 실험 설정에 따른 결과이며, 현재의 성능 순위를 뜻하지 않는다.

1. 추론 시 계산 확장: 같은 모델에게 더 많은 기회를 준다

LLM에 계산을 투입하는 시점은 사전 학습, 미세 조정, 추론으로 나눌 수 있다. Test-time compute scaling은 마지막 단계에서 자원을 더 사용해 답의 품질을 높이는 접근이다. 모델 파라미터를 그대로 둔 채 여러 후보를 만들고, 답을 수정하거나 풀이 경로를 탐색한다. 추론 중 답이 개선되는 것과 모델 가중치를 학습하는 것은 서로 다르다.

가장 단순한 방법은 반복 샘플링(repeated sampling)이다. 같은 문제를 여러 번 풀게 하고 검증기가 올바른 답을 선택한다. Large Language Monkeys는 이 방식으로 작은 모델도 더 강한 모델의 단일 시도보다 넓은 문제 집합을 풀 수 있음을 보여준다. 여러 시도를 통해 모델이 낮은 확률로 생성하던 좋은 답을 드러내는 것이다.

핵심 지표인 coverage는 “후보 중 정답이 하나라도 있었던 문제의 비율”이다. 코딩 분야의 pass@k와 연결되며 k는 문제마다 허용한 시도 수다. 후보 100개 중 한 개만 맞아도 해당 문제를 해결한 것으로 세지만, 그 답을 골라내지 못하면 사용자는 오답을 받는다. 모델을 비교할 때도 시도 수와 추가 비용을 함께 봐야 한다. [00:05–04:37]

2. 스케일링 법칙과 어려운 문제의 긴 꼬리

중요한 질문은 실현 가능한 예산 안에서 해결 범위가 얼마나 늘어나고, 그 경향을 예측할 수 있는가다. 강의는 여러 모델 계열과 파라미터 규모에서 샘플 수에 따른 coverage 증가를 일정한 곡선으로 설명하는 추론 스케일링 법칙을 소개한다. 모든 과제에서 완벽히 일치하는 보편 법칙은 아니지만, 필요한 샘플과 자원을 가늠하는 근거가 된다.

한 문제를 맞힐 확률이 p이고 각 시도가 독립적이라면, k번 안에 한 번 이상 맞힐 확률은 1 − (1 − p)k다. 개별 문제에서는 실패 확률이 지수적으로 줄어드는데, 여러 문제를 평균내면 왜 더 느린 멱법칙 형태가 나타날까?

후속 연구 How Do Large Language Monkeys Get Their Power (Laws)?는 문제별 성공 확률의 분포로 이를 설명한다. 쉬운 문제는 빠르게 해결되지만, 한 번에 맞힐 확률이 극히 낮은 어려운 문제들이 긴 꼬리로 남아 전체 평균을 지배한다. 개별 문제의 지수적 개선과 문제 집합의 멱법칙적 경향은 모순되지 않는다.

같은 모델에서도 문제별 성공 확률은 다르다. 샘플 수가 늘어날수록 더 드문 성공을 찾아야 하므로 검증의 중요성도 커진다. [04:44–12:13]

3. 진짜 병목: 정답을 생성하는 것과 골라내는 것은 다르다

자동 검증이 가능한 영역에서는 반복 생성의 이득을 실제 성공으로 연결하기 쉽다. 형식화된 수학 증명은 증명 검사기로 확인할 수 있고, 코드는 단위 테스트를 실행할 수 있다. 강의는 PyTorch 프로그램을 CUDA 코드로 바꾸는 사례도 소개한다. 원본과 생성 코드에 같은 입력을 주고 출력을 비교하면, 코드가 의도한 계산을 재현하는지 확인할 수 있다.

다만 테스트 통과가 모든 입력에서 프로그램이 옳다는 증명은 아니다. 강의의 질의응답에서도 테스트가 충분한 동작을 다루지 못하면 오답을 통과시킬 수 있다고 짚는다. 출력 비교 역시 검사한 입력과 기준의 품질에 의존한다.

그림 1. 후보 안의 정답 존재 여부와 실제 선택 성능의 차이. 출처: Stanford CS329A 2강, 슬라이드 26, 16:54. 슬라이드의 원 연구: Brown et al., Large Language Monkeys.

자동 검증기가 없는 문제에서는 다수결이나 학습된 보상 모델로 후보를 선택한다. 다수결은 가장 자주 등장한 최종 답을 고르고, 보상 모델 기반 best-of-N은 N개 후보에 점수를 매겨 최고점을 선택한다. 하지만 강의의 그래프에서는 이런 선택 방식이 일찍 정체되는 동안, 완벽한 검증기를 가정한 coverage는 계속 상승한다. 이 간격이 generation–verification gap이다.

어려운 문제에서는 수천 개 후보 중 한두 개만 맞기도 한다. 다수결은 그 소수의 정답을 선택하지 못하고, 학습된 평가자도 오답과 정답을 충분히 구별하지 못할 수 있다. 결국 “드물게 나온 올바른 답을 무엇으로 식별할까?”가 핵심이다. [12:20–19:18, 26:01–26:31]

4. 병렬 생성과 순차 수정, 그리고 ORM·PRM

계산을 더 쓰는 방식은 후보 수를 늘리는 것만이 아니다. 병렬 샘플링이 서로 다른 풀이를 여러 개 탐색한다면, 순차 수정(sequential revision)은 이전 시도를 문맥에 넣고 같은 답을 검토·수정한다. 전자는 다양한 접근을 찾는 데, 후자는 이미 어느 정도 타당한 풀이를 다듬는 데 유리할 수 있다. 여러 풀이를 병렬로 만들면서 각각을 순차 수정하는 혼합 방식도 가능하다.

평가자	평가 대상	활용 방식
ORM (Outcome Reward Model)	완성된 응답·최종 결과	후보 전체의 품질을 점수화하고 최종 답을 선택한다.
PRM (Process Reward Model)	풀이의 중간 단계	도중에 유망한 경로를 고르고 이후 탐색을 안내한다.

그림 2. PRM 점수로 탐색 경로를 고르는 beam search. 출처: Stanford CS329A 2강, 31:00. 슬라이드의 원 연구: Snell et al., Scaling LLM Test-Time Compute Optimally.

한 단계에서 후보 네 개를 생성하고 PRM 점수가 높은 두 경로만 남긴 뒤 다음 단계를 확장하는 것이 beam search의 예다. 중간에 가능성 낮은 가지를 줄여 계산을 집중한다. PRM의 평가 단위는 토큰 하나가 아니라, 풀이의 의미 있는 단계나 문장 같은 단위다.

PRM도 학습된 평가자이므로 새 영역에서는 오차가 생긴다. 이 연구는 PRM과 수정 모델을 별도로 훈련한 실험도 포함한다. 임의의 LLM에 “다시 생각해”라고 요청하는 것만으로 같은 효과가 보장되는 것은 아니다. [26:55–35:50]

5. 더 많이 계산하는 것보다, 어디에 계산을 쓸지 결정한다

Scaling LLM Test-Time Compute Optimally의 핵심은 모든 문제에 동일한 전략을 적용하지 않는 것이다. 연구는 문제별 pass@1을 바탕으로 모델이 느끼는 난이도를 나누고, 병렬 생성과 순차 수정의 비율에 따라 성능이 어떻게 달라지는지 살핀다. 여기서 난이도는 사람이 생각하는 절대 난이도보다 해당 모델이 그 문제를 맞힐 가능성에 가깝다.

쉬운 문제에서는 순차 수정의 비중을 높였을 때 유리했고, 어려운 문제에서는 병렬 탐색과 수정의 균형이 중요했다. 목표는 고정된 비율을 따르는 것이 아니라 원하는 정확도를 가장 적은 생성 예산으로 달성하는 것이다.

그렇다면 추론 계산만 늘리면 더 큰 모델을 학습할 필요가 없어질까? 강의의 답은 조건부다. 연구의 쉽거나 중간 난이도인 문제에서는 추가 추론 계산이 유리할 수 있지만, 가장 어려운 문제에서는 더 큰 모델과 더 많은 사전 학습이 여전히 이점을 보였다. 기본 모델이 유효한 풀이에 거의 도달하지 못한다면 단순한 추가 시도만으로 그 차이를 메우기 어렵다.

비용의 성격도 다르다. 사전 학습은 한 번 투자해 여러 요청에서 활용하지만, 추론 계산은 새 요청마다 다시 지불한다. 따라서 실무에서는 생성·평가 비용과 응답 시간, 요청 수까지 포함해 전략을 정해야 한다. [35:57–41:04]

6. Archon: 한 번의 프롬프트를 넘어 추론 구조 전체를 설계한다

Archon은 선택의 단위를 개별 후보에서 전체 추론 아키텍처로 확장한다. 입력은 목표 벤치마크, 사용할 수 있는 LLM, 추론 호출 예산, 추론 기법들이다. 그 안에서 어떤 모델을 몇 번 부르고 어떤 순서로 생성·검토·선택·통합할지 탐색한다. 목표는 정해진 예산 안에서 정확도를 높이는 구조를 찾는 것이다.

그림 3. 모델·기법·예산을 입력받아 추론 구조를 탐색하는 Archon. 출처: Stanford CS329A 2강, 슬라이드 46, 47:51. 슬라이드의 원 연구: Saad-Falcon et al., Archon.

구성 요소	역할
Generator	하나 또는 여러 모델로 답변 후보를 만든다.
Fuser	여러 후보를 참고해 새 응답 하나로 종합한다.
Critic·Ranker	후보의 장단점을 지적하고, 품질에 따라 순위를 매긴다.
Verifier	추론을 검토하고 후보를 걸러낸다.
Unit Test Generator·Evaluator	과제별 확인 항목을 만들고, 후보가 이를 충족하는지 평가한다.

Fusion은 여러 후보를 참고해 새 답을 생성한다. 일부 실험에서는 기존 후보 중 최선을 고르는 oracle selection보다도 좋은 결과를 냈다. 완벽한 검증기를 능가했다기보다, 기존 후보 집합 밖에 더 나은 답을 만들어낸 것이다.

이 요소들은 기존 모델에 역할을 프롬프트로 부여해 작동한다. 특히 unit test evaluator는 모델에게 후보가 확인 항목을 만족하는지 판단시키는 방식도 포함한다. 실제로 코드를 실행하는 테스트와는 근거와 신뢰성이 다르다.

Archon은 첫 계층을 생성기로 두고, critic을 ranker나 fuser보다 앞에 배치하는 등 탐색 공간을 제한한 뒤 베이지안 최적화로 유망한 구성을 찾는다. 생성 → 비평 → 순위화 → 여러 번의 통합 같은 계층을 신중하게 쌓아 일부 과제의 성능을 높인다. 여기서 최적화되는 것은 LLM의 내부 가중치가 아니라 호출과 처리의 연결 구조다.

Archon은 여러 내부 호출을 거쳐 사용자에게 하나의 응답을 돌려준다. 따라서 앞부분의 coverage와 달리 시스템의 최종 응답 성능을 평가하며, 단일 LLM 호출의 pass@1과 비용까지 같다는 뜻은 아니다. 모델 선택과 함께 추론 구조도 성능·비용 최적화의 대상이 된다는 것이 핵심이다. [45:47–1:02:58]

이 강의에서 가져갈 관점

추론 예산을 늘릴 때는 세 가지를 확인해야 한다. 후보 안에 정답이 생기는가, 그 정답을 알아보는가, 같은 비용에서 생성·수정·검증의 배치가 적절한가. Coverage 향상을 실제 응답의 개선으로 연결하려면 세 조건이 함께 필요하다.

2강은 1강의 “더 생각하는 모델”을 후보 생성·선택·탐색의 설계 문제로 바꿔준다. 다음 3강에서는 그 중심에 있는 검증기를 어떻게 더 견고하게 만들지 살펴본다.

---

출처 및 슬라이드 인용
· Stanford Online — CS329A Part 2: Test-Time Compute Scaling
· Stanford CS329A 공식 강의 일정·읽기 자료
· Brown et al. — Large Language Monkeys
· Schaeffer et al. — How Do Large Language Monkeys Get Their Power (Laws)?
· Snell et al. — Scaling LLM Test-Time Compute Optimally
· Saad-Falcon et al. — Archon
슬라이드 이미지 3장은 원본 강의 영상의 해당 화면을 발췌했다. 각 그림 아래에 시점과 출처를 표기했으며, 본문은 원문의 직역이 아닌 요약·해설이다.