Heritrix源码分析(五) 怎么让Heritrix在Ecplise等IDE上编程启动
Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动
本博客属原创文章,欢迎转载!转载请务必注明出处:http://guoyunsky.iteye.com/blog/642550
本博客已迁移到本人独立博客: http://www.yun5u.com/
欢迎加入Heritrix群(QQ):109148319,10447185 , Lucene/Solr群(QQ) : 118972724
在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种:一种是通过tomcat或者JBOSS或者Jetty等Web容器,还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码,所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释:
import java.io.File; import javax.management.InvalidAttributeValueException; import org.archive.crawler.event.CrawlStatusListener; import org.archive.crawler.framework.CrawlController; import org.archive.crawler.framework.exceptions.InitializationException; import org.archive.crawler.settings.XMLSettingsHandler; public class StartHeritrixByEclipse { public static void main(String[] args) throws InterruptedException { String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径 File file = null; //order.xml文件 CrawlStatusListener listener = null;//监听器 XMLSettingsHandler handler = null; //读取order.xml文件的处理器 CrawlController controller = null; //Heritrix的控制器 try { file=new File(orderFile); handler = new XMLSettingsHandler(file); handler.initialize();//读取order.xml中的各个配置 controller = new CrawlController();// controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器 if (listener != null) { controller.addCrawlStatusListener(listener);//控制器添加监听器 } controller.requestCrawlStart();//开始抓取 /* * 如果Heritrix还一直在运行则等待 */ while (true) { if (controller.isRunning() == false) { break; } Thread.sleep(1000); } //如果Heritrix不再运行则停止 controller.requestCrawlStop(); } catch (InvalidAttributeValueException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (InitializationException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
这里可以发现,其实只要知道一个order.xml路径就可以开始抓取了(同时还要seeds.txt种子文件),至于order.xml如何配置可以查看我前面的博客:http://guoyunsky.iteye.com/admin/blogs/613412
1 楼
crabboy
2010-05-12
清楚,明白
2 楼
strawbingo
2010-07-12
这个比较实用,呵呵
3 楼
zzzz3621
2011-12-17
使用旧的job里的order.xml的话,不改任何参数就会全部重抓
4 楼
zzzz3621
2011-12-17
怎么停下来呢?eclipse里结束的话,文件好像会损坏
5 楼
luoluowushengmimi
2012-04-16
您好。我看了您的帖子很是受益,不过还是遇到了问题,还望您多多指教。
我用了您写的代码,然后自己写了一个seed 文件,并且自己写了一个order.xml文件,运行的时候报错了。
报错是
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.httpclient.HttpState.setCookiesMap(Ljava/util/SortedMap;)V
at org.archive.crawler.fetcher.FetchHTTP.configureHttpCookies(FetchHTTP.java:1275)
at org.archive.crawler.fetcher.FetchHTTP.configureHttp(FetchHTTP.java:1232)
at org.archive.crawler.fetcher.FetchHTTP.initialTasks(FetchHTTP.java:1166)
at org.archive.crawler.framework.CrawlController.runProcessorInitialTasks(CrawlController.java:1668)
at org.archive.crawler.framework.CrawlController.requestCrawlStart(CrawlController.java:1011)
at cn.ceode.heritrix.test.StartHeritrixByEclipse.main(StartHeritrixByEclipse.java:30)
您知道这个该怎么解决吗
我用了您写的代码,然后自己写了一个seed 文件,并且自己写了一个order.xml文件,运行的时候报错了。
报错是
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.httpclient.HttpState.setCookiesMap(Ljava/util/SortedMap;)V
at org.archive.crawler.fetcher.FetchHTTP.configureHttpCookies(FetchHTTP.java:1275)
at org.archive.crawler.fetcher.FetchHTTP.configureHttp(FetchHTTP.java:1232)
at org.archive.crawler.fetcher.FetchHTTP.initialTasks(FetchHTTP.java:1166)
at org.archive.crawler.framework.CrawlController.runProcessorInitialTasks(CrawlController.java:1668)
at org.archive.crawler.framework.CrawlController.requestCrawlStart(CrawlController.java:1011)
at cn.ceode.heritrix.test.StartHeritrixByEclipse.main(StartHeritrixByEclipse.java:30)
您知道这个该怎么解决吗