使用python scrapy爬虫框架进行腾讯视频,爱奇艺视频等视频网站的动漫数据,不包括视频资源
目前完成了腾讯和爱奇艺动漫数据采集,其他资源正在采集中。。。
使用教程,在spiders下执行命令
scrapy crawl tencent
scrapy crawl iqiyi
目前只支持采集到数据库,后期加入excel或csv文件的方式,期待后期更新。。。
| Name | Name | Last commit date | ||
|---|---|---|---|---|
使用python scrapy爬虫框架进行腾讯视频,爱奇艺视频等视频网站的动漫数据,不包括视频资源
目前完成了腾讯和爱奇艺动漫数据采集,其他资源正在采集中。。。
使用教程,在spiders下执行命令
scrapy crawl tencent
scrapy crawl iqiyi
目前只支持采集到数据库,后期加入excel或csv文件的方式,期待后期更新。。。