该项目是一个简单的采集网上信息的demo程序。主要采用了jsoup组件
- api网址https://jsoup.org/apidocs/index.html
- 参考博客地址:
优点类似jquery的操作风格,使用简单 缺点:通过ajax加载的元素无法拿到 对应的解决方案可以使用httpunit 这个可以实现在js执行完后再解析
####程序测试说明
该应用选举了中国天气网站作为测试网站,我们通过程序爬取了江阴的实时数据,生活指数数据和7天天气预报数据。 在程序中还处理了一个中国天气网的一个防爬取数据的问题,403报错问题。