Crawler

웹 크롤러(web crawler)는 웹 페이지에서 데이터를 수집하기 위해 Web을 체계적으로 탐색하는 프로그램입니다. 웹 크롤러는 종종 봇 또는 로봇이라고 합니다. 일반적으로 검색 엔진(예: Google, Bing 등)은 크롤러를 사용하여 인덱스를 구축합니다.