Skip to content

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

1 watching

Forks

Latest commit

 

History

20 Commits

Folders and files

Repository files navigation

SpiderDemo


概述

该项目是一个简单的采集网上信息的demo程序。主要采用了jsoup组件


jsoup相关知识

学习资源

jsoup特点

优点类似jquery的操作风格,使用简单 缺点:通过ajax加载的元素无法拿到 对应的解决方案可以使用httpunit 这个可以实现在js执行完后再解析

####程序测试说明

该应用选举了中国天气网站作为测试网站,我们通过程序爬取了江阴的实时数据,生活指数数据和7天天气预报数据。 在程序中还处理了一个中国天气网的一个防爬取数据的问题,403报错问题。

知识点补充htmlunit-2.23-bin可以在页面js加载完后再解析页面,暂时未进行测试。以后有可能用得上,暂时做个记录。

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages