htmlunit抓取js执行后的网页源码 java爬虫项目，如何获取js执行后的完整网页源代码？

上次我不是写了一个自动抓取博客访问量吗（点击打开链接）可是昨天晚上我又运行的时候，发现不能用了。。

运行了几次发现使用URLConnection 得到的网页源码和浏览器直接查看的不同。 URLConnection 使用IO流读取到的源码

只有积分没有访问量了

htmlunit抓取js执行后的网页源码
java爬虫项目，如何获取js执行后的完整网页源代码？

而使用浏览器访问直接查看源码

htmlunit抓取js执行后的网页源码
java爬虫项目，如何获取js执行后的完整网页源代码？

有访问。

这也就导致了我的程序不能用了需要更新了 htmlunit抓取js执行后的网页源码
java爬虫项目，如何获取js执行后的完整网页源代码？

想想原因可能是幕后主使人把访问量放在了js里面动态展示，而我使用URLConnection 访问的静态界面确确实实没有收到。

于是开始百度了百度过来百度过去。。

发现了一个回复了三年还没有结贴的帖子

里面回复了好多方法发现有个htmlunit 于是就自己测试一下

发现真的可以。得到了js执行后的源码。

废话不说了。

方法如下

public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
// TODO Auto-generated method stub
WebClient wc=new WebClient(BrowserVersion.FIREFOX_24);
wc.setJavaScriptTimeout(5000);
wc.getOptions().setUseInsecureSSL(true);//接受任何主机连接无论是否有有效证书
wc.getOptions().setJavaScriptEnabled(true);//设置支持javascript脚本
wc.getOptions().setCssEnabled(false);//禁用css支持
wc.getOptions().setThrowExceptionOnScriptError(false);//js运行错误时不抛出异常
wc.getOptions().setTimeout(100000);//设置连接超时时间
wc.getOptions().setDoNotTrackEnabled(false);
HtmlPage page=wc.getPage("http://blog.csdn.net/su20145104009?viewmode=contents");
String res=page.asText();
//处理源码
deal(res);
}

最后得到的源码如下：

其它的代码和点击打开链接这篇文章相比几乎没变。如果不明白可以去看一下这里就不再赘述了

执行后成功写入到txt文档

使用了htmlunit会弹出好多异常警告

加上这些代码就会消失了~

LogFactory.getFactory().setAttribute("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog");
java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit")
.setLevel(Level.OFF);
java.util.logging.Logger.getLogger("org.apache.commons.httpclient")
.setLevel(Level.OFF);

由于我们在这里引入了htmlunit 的jar包 .那么再用上次的脚本批量处理就行不通了 ~

而且要引入的jar包也不是一个是多个所以要批量处理了

首先我们要把所有要用的jar包使用-cp命令导入。

可是htmlunit的jar包太多了所以想到一个方法使用for循环遍历htmlunit文件夹里面的jar文件将其处理为一个字符串然后再使用-cp命令全部代码如下

运行结果如下：