스크래피
Scrapy| 개발자 | 자이테 (이전의 스크래핑허브) |
|---|---|
| 초기 릴리즈 | 2008년 6월 26일 ( |
| 안정적 해제 | 2.5.0[1] / 2021년 4월 6일; |
| 리포지토리 | |
| 기록 위치 | 파이톤 |
| 운영 체제 | Windows, MacOS, Linux |
| 유형 | 웹 크롤러 |
| 면허증 | BSD 라이선스 |
| 웹사이트 | scrapy |
스크래피(//skreɪpaɪ/[2]SKRAY-peye)는 Python으로 작성된 무료 오픈 소스 웹 크롤링 프레임워크다.원래 웹 스크래핑용으로 설계되어 API를 이용하여 데이터를 추출하거나 범용 웹 크롤러로도 사용할 수 있다.[3]현재는 웹스캐핑 개발 및 서비스 업체인 자이테(Zyte) 전 스크래핑허브(Scraping Hub)
스크래피 프로젝트 아키텍처는 일련의 지시를 받는 자급자족 크롤러인 "스파이더"를 중심으로 구축된다.짱오 같은 다른 사람의 정신을 따라 개발자가 코드를 재사용할 수 있도록 함으로써 큰 기어가기 프로젝트를 쉽게 구축하고 확장할 수 있다.[4]
Scrapy 프레임워크는 자동 회전, 회전 프록시 및 사용자 에이전트와 같은 강력한 기능을 제공하므로 사실상 감지되지 않은 네트워크를 긁어낼 수 있다.Scrapy는 또한 웹 크롤링 셸을 제공하는데, 개발자들은 이 셸을 사이트의 행동에 대한 그들의 가정을 시험하는데 사용할 수 있다.[5]
스크래피를 사용하는 유명한 회사들과 제품들은: List,[6][7] Parse.ly,[8] Sayone Technologies,[9] Sciences Po Medialab,[10] Data.gov.uk의 세계 정부 데이터 사이트들이다.[11][1]
역사
스크래피는 런던에 본사를 둔 웹애그먼트 및 전자상거래 기업 마이데코(Mydeco)에서 태어났으며, 마이데코와 인소피아(우루과이 몬테비데오에 본사를 둔 웹컨설팅 기업)의 직원들이 개발하고 유지했다.첫 공개는 BSD 면허에 따라 2008년 8월이었고, 2015년 6월에는 이정표 1.0 공개가 이뤄졌다.[12]2011년 지테(옛 스크래핑허브)가 새로운 공식 정비사가 되었다.[13][14]
참조
- ^ "Release 2.5.0". 6 April 2021. Retrieved 16 April 2021.
- ^ 975f150 커밋
- ^ 한눈에 보기에도 스크랩하다.
- ^ "Frequently Asked Questions". Retrieved 28 July 2015.
- ^ "Scrapy shell". Retrieved 28 July 2015.
- ^ Bell, Eddie; Heusser, Jonathan. "Scalable Scraping Using Machine Learning". Retrieved 28 July 2015.
- ^ 스크래피를 사용하는 스크래피 회사
- ^ Montalenti, Andrew. "Web Crawling & Metadata Extraction in Python".
- ^ "Scrapy Companies". Scrapy website.
- ^ 하이프 v0.0: 새로운 웹 크롤러의 첫 번째 버전이 나왔다!
- ^ Ben Firshman [@bfirsh] (21 January 2010). "World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore" (Tweet) – via Twitter.
- ^ Medina, Julia (19 June 2015). "Scrapy 1.0 official release out!". scrapy-users (Mailing list).
- ^ Pablo Hoffman (2013). List of the primary authors & contributors. Retrieved 18 November 2013.
- ^ 스크래핑 허브 인터뷰.