怎么遍历一个网站所有页面
怎样遍历一个网站所有页面
我想使用jsp通过下面的代码获取一个网页的Document 。
Document doc=null;
Connection conn = Jsoup.connect(url);
conn.timeout(60000);
doc = conn.get();
Document doc = Jsoup.connect(url).timeout(60000).get();
conn.disconnect();
如果只是获取一个网页就这样就行了。但是我要批量获取以下地址从1到50翻页,每页的Document。是不是要connect 50次,还是有什么其他好的办法,求大神赐教。谢谢!
http://apk.hiapk.com/apps?sort=5&pi=1
http://apk.hiapk.com/apps?sort=5&pi=2
……
http://apk.hiapk.com/apps?sort=5&pi=50
我现在是用循环执行上面的代码50次,我发现服务器会禁止我的IP访问一段时间。有什么好的解决办法吗?谢谢!
------解决思路----------------------
其实并没有必要!
http://apk.hiapk.com/web/api.do?qt=1301&num=100
这就是你要的东西!
------解决思路----------------------
递归
或者
循环
------解决思路----------------------
你这每执行一次就disconnect一下。这样不合适,一次获取所有的数据再disconnect。
我想使用jsp通过下面的代码获取一个网页的Document 。
Document doc=null;
Connection conn = Jsoup.connect(url);
conn.timeout(60000);
doc = conn.get();
Document doc = Jsoup.connect(url).timeout(60000).get();
conn.disconnect();
如果只是获取一个网页就这样就行了。但是我要批量获取以下地址从1到50翻页,每页的Document。是不是要connect 50次,还是有什么其他好的办法,求大神赐教。谢谢!
http://apk.hiapk.com/apps?sort=5&pi=1
http://apk.hiapk.com/apps?sort=5&pi=2
……
http://apk.hiapk.com/apps?sort=5&pi=50
我现在是用循环执行上面的代码50次,我发现服务器会禁止我的IP访问一段时间。有什么好的解决办法吗?谢谢!
------解决思路----------------------
其实并没有必要!
http://apk.hiapk.com/web/api.do?qt=1301&num=100
这就是你要的东西!
------解决思路----------------------
递归
或者
循环
------解决思路----------------------
你这每执行一次就disconnect一下。这样不合适,一次获取所有的数据再disconnect。