TL;DR
에이전트의 실력은 시험 정답률뿐 아니라, 얼마나 긴 일을 어느 정도의 신뢰도로 끝내는지로 평가해야 한다.
METR은 사람의 작업 시간으로 난도를 보정하고, GDPval은 전문가의 실제 업무 산출물과 비교하며, DeepScholar-Bench는 자료 검색·종합·인용의 품질을 분리해 측정한다.
더 긴 작업을 수행하거나 보기 좋은 보고서를 만든다는 사실만으로 실무를 안정적으로 맡길 수 있는 것은 아니며, 맥락 확보·오류 복구·검증까지 함께 봐야 한다.
Stanford CS329A: Self-Improving AI Agents의 공개 영상 8편은 “에이전트에게 실제 일을 얼마나 믿고 맡길 수 있을까?”를 다룬다. 새로운 모델을 만드는 기법보다, 그 모델이 어디까지 유용한지 알아내는 평가가 주제다. 긴 작업, 경제적 가치가 있는 업무, 깊이 있는 연구 종합이라는 세 관점으로 성능과 한계를 살펴본다.
강의: Agentic Evaluations and Long Horizon Tasks · 원본 영상
회차는 공식 YouTube 재생목록의 Part 8 기준이다. 아래 모델 비교와 수치는 강의 당시의 실험 조건을 설명하며, 현재 모델의 순위를 뜻하지 않는다.
1. 평가의 질문부터 바꾼다: 맞힐 수 있는가, 일을 끝낼 수 있는가?
짧은 질문 하나에 답하는 능력과 여러 단계의 업무를 완수하는 능력은 다르다. 실무에서는 목표를 이해하고, 필요한 자료와 도구를 고르고, 중간 결과를 확인하고, 잘못된 시도에서 회복해야 한다. 개별 단계가 쉬워도 연결이 길어질수록 실패할 기회는 늘어난다.
따라서 “점수가 높다”만으로는 충분하지 않다. 강의는 세 가지 질문을 나란히 둔다.
| 평가 | 핵심 질문 | 주로 보는 것 |
| METR 시간 지평 | 어느 난도의 긴 일을 끝내는가? | 사람의 작업 시간에 따른 에이전트 성공 확률 |
| GDPval | 전문가의 업무 결과와 비교하면 어떤가? | 실제 직무 산출물에 대한 전문가의 비교 평가 |
| DeepScholar-Bench | 자료를 제대로 찾아 근거 있는 종합을 하는가? | 지식 종합, 검색 품질, 인용 검증 가능성 |
이 지표들은 경쟁하는 단일 순위표가 아니다. 같은 시스템을 서로 다른 축으로 비춘다. 한 지표에서 빠르게 좋아져도 다른 지표의 약점은 남을 수 있다. [02:44–04:28]
2. METR: ‘한 시간짜리 일을 한다’는 말의 정확한 뜻
작업 완료 시간 지평(task-completion time horizon)은 에이전트가 실행된 시간이 아니다. 해당 작업을 숙련된 사람이 끝내는 데 걸리는 시간을 기준으로, 모델이 일정 확률로 성공할 수 있는 난도를 나타낸다. 예를 들어 50% 시간 지평이 한 시간이면, 사람이 보통 한 시간 걸리는 수준의 작업에서 성공 확률이 약 절반이라는 뜻이다.
연구는 아주 짧은 소프트웨어 동작부터 HCAST의 소프트웨어·연구 공학 과제, RE-Bench의 ML 연구 과제까지 모았다. 사람의 성공적인 작업 시간을 측정하고, 같은 과제에서 에이전트를 여러 번 실행해 성공률을 구한 뒤, 사람의 소요 시간과 모델 성공 확률의 관계를 곡선으로 추정한다. 원하는 성공 확률과 만나는 지점이 시간 지평이다.
그림 1. 강의에서 소개한 모델별 50% 작업 완료 시간 지평의 변화. 출처: Stanford CS329A 공개 영상 8편, 15:00. 원 연구: Kwa et al., 2025. 숫자는 당시 슬라이드 기준이다.
강의는 이 지평이 약 7개월마다 두 배가 된다는 과거 추세를 소개한다. 하지만 50% 성공과 안정적인 위임은 다르다. 같은 모델도 목표 신뢰도를 80%로 높이면 맡길 수 있는 작업의 시간 지평이 훨씬 짧아진다. “한 시간짜리 업무를 해결했다”를 “한 시간짜리 업무를 언제나 맡겨도 된다”로 읽으면 안 된다.
또 시간은 난도의 유용한 대리 지표이지 완전한 정의가 아니다. 사람이 저장소를 잘 아는지, 과제가 명확한지, 평가가 자동 채점 가능한지에 따라 해석이 달라진다. 과거 추세의 연장도 미래 성능에 대한 조건부 전망이며, 모든 직무에서 같은 속도로 발전한다는 보장은 아니다. [04:49–07:42] [20:18–27:34]
3. 긴 작업의 병목: 계획보다 중요한 것은 실패 후의 다음 행동
시간 지평이 길어지려면 추론과 코드 생성이 좋아지는 것에 더해, 목표를 잃지 않고 오류에서 회복하는 능력이 필요하다. 강의의 실패 분석은 다음 유형을 구분한다.
- 계획·도구 선택 오류: 일을 잘못 쪼개거나 목적에 맞지 않는 도구를 사용한다.
- 추론 오류: 계산이나 중간 판단을 틀린 채 다음 단계로 넘어간다.
- 조기 포기: 성공 조건을 제대로 판단하지 못하고 작업을 중단한다.
- 반복 루프: 실패한 행동을 높은 확률로 계속 되풀이한다.
이 구분은 평균 점수보다 개선 방향을 잘 알려준다. 반복 루프가 원인이라면 모델에 더 긴 시간을 주는 것만으로 해결되지 않는다. 실행 결과를 다음 계획에 반영하고, 진행 상태와 종료 조건을 추적해야 한다. 기억과 맥락 관리도 중요한데, 긴 대화 내용을 많이 보관하는 것과 필요한 정보를 다음 행동에 정확히 활용하는 것은 별개의 능력이다.
사람과의 비교에서도 맥락을 맞춰야 한다. 해당 저장소를 오래 관리한 개발자와 처음 보는 외부 작업자는 같은 업무를 다른 속도로 끝낸다. 에이전트가 어떤 문서·이력·도구를 제공받았는지 밝히지 않으면 “사람보다 빠르다”는 결론이 실제 조직의 생산성을 잘 설명하지 못할 수 있다. [15:10–20:12] [22:35–27:18]
4. GDPval: 실무 산출물을 전문가와 직접 비교한다
GDPval은 잘 정의된 실제 지식 업무의 결과물을 평가한다. 초기 데이터는 미국 GDP 기여도가 큰 9개 산업의 44개 직무에서 1,320개 과제를 모았으며, 이 중 220개가 공개 gold subset이다. 보고서·스프레드시트·슬라이드·도면·멀티미디어 등 다양한 산출물과 참고 파일을 포함한다.
정답 문자열을 비교하기 어려우므로, 전문가가 모델과 사람의 산출물을 나란히 보고 어느 쪽이 더 나은지 판단한다. 이때 승리만 세는 수치와 승리·무승부를 함께 세는 수치를 구분해야 한다. 슬라이드의 47.6%도 해당 비교 조건과 집계 방식에서의 결과이지, 그 비율만큼의 직업이 대체된다는 뜻이 아니다.
그림 2. GDPval의 전문가 산출물 대비 선호 평가. 연한 막대는 승리+무승부, 진한 막대는 승리만 나타낸다. 출처: Stanford CS329A 공개 영상 8편, 35:59. 원 연구: Patwardhan et al., 2025.
강의가 짚는 약점은 지시를 놓치거나, 참고 파일을 읽겠다고 한 뒤 실제 근거 대신 그럴듯한 내용을 만들어내거나, 형식을 잘못 맞추는 경우다. 보기 좋은 문서와 올바른 계산·근거는 따로 확인해야 한다. 직무별·과제 길이별·매체별 성능도 달라 평균만으로 특정 업무의 적합성을 정하기 어렵다.
무엇보다 초기 GDPval은 맥락과 요구가 명시된 과제에 한 번 산출물을 제출하는 평가다. 실제 직장에서는 무엇을 해야 할지 발견하고 우선순위를 정하며, 동료와 질문을 주고받는 과정 자체가 큰 일이다. 이 평가에서 좋은 결과가 곧 그 직무 전체의 자율 수행을 증명하지는 않는다. [27:53–30:58] [38:47–47:51]
5. DeepScholar-Bench: 검색을 했다는 사실과 좋은 조사는 다르다
DeepScholar-Bench는 최신 논문의 관련 연구(related work) 부분을 작성하는 과제로 연구 종합 능력을 평가한다. 관련 자료를 찾고, 중요한 내용을 추출하고, 일관된 설명으로 엮고, 검증 가능한 인용을 붙여야 한다. 새 arXiv 논문으로 과제를 갱신하는 live benchmark라는 점도 특징이다.
그림 3. DeepScholar-Bench의 세 평가 축: 지식 종합, 검색 품질, 검증 가능성. 출처: Stanford CS329A 공개 영상 8편, 54:15. 원 연구: Patel et al., 2025.
- 지식 종합: 글의 구조가 일관적인가, 반드시 들어가야 할 핵심 사실을 담았는가?
- 검색 품질: 관련 자료뿐 아니라 분야의 중요한 논문을 충분히 찾았는가?
- 검증 가능성: 인용이 실제 주장을 뒷받침하는가, 근거가 필요한 주장에 인용이 충분히 붙었는가?
마지막 두 질문은 다르다. 인용 정밀도가 높아도 인용 자체가 드물면 주장 대부분은 검증하기 어렵다. 반대로 링크가 빼곡해도 각 링크가 해당 주장을 뒷받침하지 못하면 신뢰할 수 없다. 문장의 유창함 역시 핵심 사실의 누락을 가릴 수 있다.
강의 당시 연구는 어느 시스템도 모든 평가 지표에서 19%를 넘지는 못했다고 설명한다. 단일 종합 점수가 19%라는 뜻이 아니라, 잘하는 지표가 있어도 낮은 점수의 지표가 남아 있다는 의미다. 좋은 자료를 미리 제공해도 핵심 사실을 모두 끌어내지 못하는 결과는 검색과 자료 이해를 각각 개선해야 함을 보여준다. [51:34–58:28]
6. 세 평가를 연결하면: 위임할 업무와 검토할 지점을 함께 정한다
METR은 지속 가능한 작업의 범위를, GDPval은 업무 산출물의 유용성을, DeepScholar-Bench는 근거를 수집하고 사용하는 품질을 보여준다. 세 결과를 합쳐야 “오래 실행한 에이전트가 실제로 쓸 만한 결과를 근거와 함께 남겼는가?”에 답할 수 있다.
실무에 적용하면, 대표 과제를 고르고 완료 조건·성공률·시간·비용·오류 유형을 함께 기록하는 편이 좋다. 보고서라면 핵심 사실과 인용의 정확도도 따로 본다. 모델 이름뿐 아니라 도구, 프롬프트, 참고 자료, 재시도와 사람 검토의 허용 범위를 고정해야 비교가 의미 있어진다. 이 항목들은 강의의 관점을 업무 평가에 옮긴 적용안이다.
성공 사례 하나보다 중요한 것은 반복해 맡겨도 되는 범위다. 특히 잘 명시된 단독 과제에서의 성능을, 불명확한 요구와 조직의 암묵지가 얽힌 업무 전체로 확대 해석하지 않아야 한다. [1:01:03–1:08:17]
이 강의에서 가져갈 관점
에이전트 평가는 “최고 점수가 얼마인가?”보다 “어떤 일을 어떤 조건에서 얼마나 믿고 맡길 수 있는가?”에 가까워져야 한다. 긴 작업의 완수, 산출물의 품질, 근거의 정확도를 분리해 측정하고, 실패한 이유를 다음 개선으로 연결하는 것이 자기 개선 시스템의 출발점이다.
출처 및 슬라이드 인용
· Stanford Online — CS329A Part 8: Agentic Evaluations and Long Horizon Tasks
· Kwa et al. — Measuring AI Ability to Complete Long Tasks (강의 당시 초기 연구)
· OpenAI — GDPval의 설계와 한계
· Patel et al. — DeepScholar-Bench
슬라이드 이미지는 원본 강의 영상의 해당 화면을 발췌하고 각 그림 아래에 출처와 시점을 표기했다. 본문은 강의와 원 연구를 바탕으로 작성한 요약·해설이다.
'AI Agent, LLM > Stanford CS329A Self Improving AI Agents' 카테고리의 다른 글
| [Stanford CS329A] 9강. 자기 개선의 다음 과제: 다양성·메타 검증·자기 생성 학습과 전력 효율 (0) | 2026.11.19 |
|---|---|
| [Stanford CS329A] 7강. 탐색과 딥 리서치: AlphaCode·Search-o1으로 정답과 근거 찾기 (0) | 2026.11.19 |
| [Stanford CS329A] 6강. 학습 시 계산 확장: STaR·GRPO·DAPO로 자기 개선 순환 만들기 (0) | 2026.11.16 |
| [Stanford CS329A] 5강. 계획과 다단계 추론: LATS·SPRINT·SWiRL로 탐색하고 학습하기 (0) | 2026.11.16 |
| [Stanford CS329A] 4강. 도구와 피드백으로 배우기: ReAct·RLEF·Constitutional AI (0) | 2026.11.16 |


