TL;DR
좋은 답을 얻으려면 많은 후보를 만드는 것뿐 아니라, 서로 다른 해결 경로를 유지하며 제한된 예산 안에서 유망한 후보를 골라야 한다.
AlphaCode와 AlphaCode 2는 대량 코드 생성·테스트·클러스터링·재순위화로 경쟁 프로그래밍의 정답을 탐색한다.
Search-o1은 추론 중 필요한 정보를 여러 번 검색하고 관련 근거만 정제해 넣으며, 긴 추론의 지식 공백을 줄이는 딥 리서치 구조를 제시한다.
Stanford CS329A: Self-Improving AI Agents의 공개 영상 7강은 Self-Improvement and Deep Research Agents를 다룬다. 여기서 탐색은 두 의미로 쓰인다. 하나는 모델이 생성할 수 있는 프로그램들의 공간에서 정답을 찾는 일, 다른 하나는 외부 자료에서 필요한 지식을 찾는 일이다.
Stanford Online 원본 영상 · 공개 영상 Part 7 기준
강의·영상 속 슬라이드·원 논문을 바탕으로 정리한 학습 노트다. 회차는 공식 공개 영상 재생목록을 따르며, 강의 웹사이트의 전체 수업 일정 번호와 다를 수 있다. 수치는 각 연구 당시의 실험 조건을 뜻한다.
1. AlphaCode: 코드 한 줄 완성에서 문제 전체 해결로
경쟁 프로그래밍은 명세를 코드로 옮기는 일만으로 끝나지 않는다. 긴 문제 설명에서 조건을 파악하고, 알고리즘을 선택하고, 시간·메모리 제한 안에서 동작하는 프로그램을 만들어야 한다. 문제에 주어진 예제는 일부이며, 최종 평가는 공개되지 않은 테스트로 이루어진다.
AlphaCode는 이 문제를 단 한 번의 생성으로 풀기보다 다음 파이프라인으로 접근했다.
코드 데이터로 모델 준비 → 많은 프로그램 생성 → 예제 테스트로 실패 후보 제거 → 동작이 비슷한 후보끼리 묶기 → 소수의 대표 후보 제출
논문에서는 문제당 최대 100만 개의 프로그램을 생성했다. Python과 C++ 후보를 만들고, 프롬프트의 문제 태그·난도와 생성 설정을 변화시켜 다양한 접근을 얻었다. 대량 생성은 정답이 후보 안에 들어갈 확률을 높이지만, 그 자체로 최종 제출할 정답을 알아내 주지는 않는다. [01:11–07:20]
2. 선택의 병목: Pass@K와 10@K는 다르다
Pass@K는 생성한 K개 후보 안에 정답이 하나라도 있는지를 본다. 최종 정답 판정기로 모든 후보를 확인할 수 있는 평가에 가깝다. 반면 10@K는 K개를 생성하더라도, 시스템이 고른 최대 10개만 최종 평가에 제출했을 때의 해결률이다. 후자는 생성과 함께 선택의 품질까지 평가한다.
예제 테스트를 통과한 코드 10개를 무작위로 고르면 같은 알고리즘의 비슷한 오답으로 제출 기회를 낭비할 수 있다. 그래서 AlphaCode는 추가로 생성한 테스트 입력에서 나타나는 출력 패턴을 이용해 후보들을 클러스터링하고, 서로 다른 그룹의 대표를 고른다. 변수명이나 문법이 다른 코드보다 행동이 다른 해결 경로를 남기는 것이 목적이다. 유한한 테스트에서 동작이 같다고 프로그램의 의미적 동등성이 증명되는 것은 아니다.
그림 1. 예제 테스트로 후보를 거르고, 추가 테스트 입력으로 비슷한 행동의 코드를 묶는 AlphaCode의 선택 단계. 출처: Stanford CS329A 공개 영상 7강, 07:34. 원 연구: Li et al., 2022.
강의에서 후보 수가 늘수록 해결률이 좋아지는 경향은 선택 단계를 거친 뒤에도 나타났다. 다만 후보의 다양성이 계속 늘고, 선택기가 그 차이를 활용할 수 있어야 한다. 같은 오답만 더 생성하거나 정답을 골라낼 수 없다면 계산을 늘리는 효과는 줄어든다. 비용과 시간도 함께 증가한다. [14:01–24:32]
3. AlphaCode 2: 생성기와 선택기를 함께 개선한다
AlphaCode 2는 Gemini Pro를 기반으로 코드 생성 모델과 점수 모델을 미세 조정했다. 생성기 하나에만 의존하지 않고, 여러 설정으로 학습한 모델 집단에서 후보를 생성해 다양성을 확보한다. 생성한 C++ 후보는 실행·필터링·클러스터링을 거친다.
추가된 핵심은 학습된 scoring model이다. 큰 클러스터 10개를 고르고, 각 그룹 안에서 정답일 가능성이 가장 높은 코드를 점수 모델로 선택한다. 테스트는 명백한 실패를 걸러 내고, 클러스터링은 중복을 줄이고, 점수 모델은 남은 후보의 우선순위를 정한다. 역할이 서로 다르다.
그림 2. 여러 생성기, 실행 필터, 클러스터링과 점수 모델을 결합한 AlphaCode 2. 출처: Stanford CS329A 공개 영상 7강, 29:14. 원 자료: Google DeepMind, AlphaCode 2 Technical Report, 2023.
보고서는 최근 Codeforces 대회 12개의 문제 77개를 대상으로, 문제당 최대 10번 제출해 43%를 해결했고 참가자 대비 평균 85백분위 수준으로 추정했다. 원래 AlphaCode의 해결률은 25%였다. 이는 해당 대회 조건에서의 평가이며, 일반 소프트웨어 개발 전체에서 개발자 85%보다 낫다는 뜻은 아니다.
더 좋은 기초 모델과 선택 구조 덕분에 같은 성능에 필요한 샘플 수도 줄었다. 다만 여전히 대량 생성이 필요하고, 필터 단계에서 후보 약 95%가 제거된다. 이 숫자 전부가 컴파일 실패라는 뜻은 아니다. 대부분은 예제 테스트의 기대 출력을 맞추지 못한 후보도 포함한다. 샘플 수만 늘리는 것과 시스템 전체의 효율을 높이는 것은 다른 설계 문제다. [24:42–39:25]
4. 딥 리서치: 오래 생각해도 모르는 지식은 채워지지 않는다
추론 모델은 여러 단계를 연결할 수 있어도 필요한 사실을 모두 알고 있지는 않다. 최신 정보나 전문 지식이 빠져 있으면 초기의 잘못된 가정이 뒤의 추론으로 전파될 수 있다. 강의 후반의 Search-o1은 이 지식 공백을 외부 검색으로 보완한다.
출발점은 강의에서 비교한 한 번 검색하는 RAG 기준선이다. 처음 질문으로 관련 문서를 가져와 답을 만들지만, 여러 단계가 필요한 문제에서는 진행 중에 새로운 정보가 필요해진다. 처음의 검색만으로 다음 단계의 요구까지 모두 예측하기 어렵다.
Agentic RAG는 추론 중 모델이 필요한 검색어를 생성하고, 도구가 문서를 반환하면 그 정보로 추론을 이어 간다. Search-o1은 여기에 가져온 문서에서 필요한 내용만 정제하는 과정을 추가한다. 검색 횟수를 늘리는 것뿐 아니라 검색 결과가 다음 판단에 어떻게 들어가는지가 중요하다. [46:33–53:23]
5. Search-o1: 검색한 문서를 읽고, 필요한 근거만 되돌린다
검색 문서를 통째로 추론 문맥에 붙이면 중복과 무관한 정보가 쌓인다. 긴 문맥을 처리할 수 있다는 것만으로 그 안의 근거를 정확히 활용한다는 보장도 없다. Search-o1의 Reason-in-Documents 모듈은 주 추론과 별도의 단계에서 문서를 분석한다.
- 추론: 문제 해결을 진행하다 필요한 지식이 생기면 검색어를 특수 구분자와 함께 출력한다.
- 검색: 제어기가 검색 요청을 감지해 생성을 멈추고, 검색 도구로 관련 문서를 가져온다.
- 문서 내 추론: 현재 검색어, 지금까지의 추론, 검색된 문서를 함께 보고 문제에 도움이 되는 근거를 추린다.
- 재개: 정제된 정보를 주 추론 문맥에 넣고 계속 푼다. 새로운 지식이 필요하면 같은 과정을 반복한다.
그림 3. 현재 검색어·이전 추론·검색 문서에 맞춰 관련 정보를 정제하는 Reason-in-Documents. 출처: Stanford CS329A 공개 영상 7강, 56:17. 원 연구: Li et al., 2025.
사람이 참고문헌을 잔뜩 모으는 데서 끝내지 않고, 지금 풀고 있는 질문에 맞춰 메모를 작성하는 것과 비슷하다. 본질은 짧게 줄이는 요약만이 아니라 현재 추론에 필요한 지식으로 바꾸는 작업이다.
강의는 과학 추론과 여러 문서를 연결해야 하는 질의응답에서 이 구조가 유효했던 결과를 소개한다. 관련 문서 수를 늘릴 때도 전체를 그대로 붙이는 방식보다 정제 단계가 도움이 되었다. 그러나 올바른 문서의 검색과 정확한 정보 추출이 여전히 조건이다. 잘못된 자료를 자신 있게 요약하면 오류도 정돈된 형태로 전달될 수 있다. 특정 GPQA 실험에서 전문가와 경쟁적인 결과가 나왔다고 모든 과학 연구 역량을 대체했다고 볼 수는 없다. [55:00–1:08:12]
6. 두 탐색의 공통점: 무엇을 더 만들고, 무엇을 남길까?
| 구분 | AlphaCode 계열 | Search-o1 |
| 탐색 대상 | 생성 가능한 프로그램과 해결 방식 | 추론에 필요한 외부 지식 |
| 후보를 늘리는 방법 | 여러 모델·생성 설정으로 대량 샘플링 | 추론 진행에 따라 검색어와 자료를 갱신 |
| 남길 것을 고르는 방법 | 테스트·클러스터링·점수 모델 | 현재 질문과 이전 추론에 맞춘 문서 분석 |
| 주요 병목 | 중복 후보, 불완전한 테스트, 선택 비용 | 검색 누락, 자료 잡음, 근거의 잘못된 정제 |
두 경우 모두 계산량을 늘리는 것만으로 충분하지 않다. 코드에서는 다양한 정답 후보를 만들고 제한된 제출 예산을 잘 쓰는 것, 리서치에서는 필요한 시점에 자료를 찾고 유효한 근거만 남기는 것이 성과를 결정한다.
또 실행 중 더 좋은 답을 얻는 것과 모델을 다시 학습시키는 것은 구분해야 한다. Search-o1은 주로 프롬프트와 검색 제어로 추론을 보완하는 접근이다. 강의 말미는 검색 정책 자체를 강화 학습하는 Search-R1을 다른 방향으로 짧게 언급하지만, 자세히 다루지는 않는다. 논문 이름의 “o1”을 특정 상용 모델만 사용할 수 있다는 뜻으로 이해할 필요도 없다. [1:08:00–1:08:49]
이 강의에서 가져갈 관점
에이전트를 설계할 때는 먼저 탐색 공간과 선택 기준을 명시하는 편이 좋다. 코드 작업이라면 생성 예산, 공개 테스트와 숨겨 둔 평가 테스트, 중복을 줄이는 방식, 최종 후보 수를 나눈다. 리서치라면 어떤 정보가 부족한지, 어떤 자료로 채울지, 근거를 어떻게 보존할지, 언제 검색을 멈출지 정한다.
모델의 자신감도 정답 판정기를 대신하지 못한다. 강의 마지막 질문에서 다루듯, 자연스러운 확신이나 높은 생성 확률과 실제 정답률은 일치하지 않을 수 있다. 좋은 탐색 시스템은 많은 결과를 만드는 동시에, 검증 가능한 차이와 출처를 남겨 선택을 돕는 시스템이다. [1:08:59–1:12:15]
출처 및 슬라이드 인용
· Stanford Online — CS329A Part 7: Self-Improvement and Deep Research Agents
· Stanford CS329A 공식 강의 일정·읽기 자료
· Li et al. — Competition-Level Code Generation with AlphaCode
· Google DeepMind — AlphaCode 2 Technical Report
· Li et al. — Search-o1: Agentic Search-Enhanced Large Reasoning Models
슬라이드 이미지는 원본 강의 영상의 해당 화면을 발췌하고 각 그림 아래에 출처와 시점을 표기했다. 본문은 원문의 직역이 아닌 요약·해설이며, 일부 수치와 방법 설명은 원 논문으로 확인했다.