Nutch源代码解读-二
Nutch源代码解读--2
Nutch0.9代码详细分析之2 主要分析网页爬取之后的页面处理
前一次主要介绍了Nutch爬取网页的流程，在爬取完网页后返回一个ProtocalOutput对象，对爬行回来的信息进行了封装，包括ProtocalStatus返回的HTTP状态码，Content网页的主体内容等信息信息。在Fetcher中，如果我们继续往下看，会看到nutch根据不同的ProtocalStatus返回的状态码进行相应页面主体内容的分析处理。主要的代码如下，分析见注释 fetcherThread.run()的方法主体框架:
try { boolean redirecting;//一个url的使用了重定向标记
int redirectCount = 0;//记录一个url重定向次数必须小于maxRedirect
//见分析 1 中的爬取主要流程，返回一个ProtocalOutput,status纪录了返回的HTTP状态码 switch(status.getCode()) {
case ProtocolStatus.SUCCESS: // got a page
//关键是output方法，该方法通过调用this.parseutil.parse(Content),利用HTMLParser对于爬取下来的网页进行分析，把结果的信息存储在Parse这个类中，包括了网页内容，标题，outlinks，metadata都在这一部进行封装.返回一个parseStatus类，表示这次网页分析是否成功
// url:是这次爬取的目标url datum:CrawlDatum类，存储了关于这个url的爬取相关信息 status:网页爬取下来后,ＨＴＴＰ协议所返回的状态象200,300~400,404之类 CrawlDatus里面标识这个url被顺利爬取的static值
pstatus = output(url, datum, content, status,CrawlDatum.STATUS_FETCH_SUCCESS);
updateStatus(content.getContent().length);
if (pstatus != null && pstatus.isSuccess() &&pstatus.getMinorCode()
== ParseStatus.SUCCESS_REDIRECT) {
//如果url是重定向的，进行相应地处理存储新的url在newurl中，如果newurl和这次爬取的url相同
//那么放弃，如果不同则设置redirecting=true,在一次对这个newurl进行爬取，直到爬取成功或者redirectcount>maxredirect
String newUrl = pstatus.getMessage();
. . . break;
case ProtocolStatus.MOVED:// 如果网页进行了重定向情况下处理，同上分析
case ProtocolStatus.TEMP_MOVED: . . . break;
case ProtocolStatus.EXCEPTION: // 出现了错误怎么办？
logError(url, status.getMessage());break;
// 网页没有找到几种情况，Content=null
case ProtocolStatus.GONE: // gone
case ProtocolStatus.NOTFOUND:
case ProtocolStatus.ACCESS_DENIED:
case ProtocolStatus.ROBOTS_DENIED:
case ProtocolStatus.NOTMODIFIED:
output(url, datum, null, status, CrawlDatum.STATUS_FETCH_GONE);
break;
default:. . . }
//如果设置了重爬标记，那么重新爬取新的url
} while (redirecting && (redirectCount < maxRedirect));
如果有人曾经和我一样，疑问nutch如何对网页进行分析呢？以上分析后关键就是output方法了。（当然自己写一个网页分析的不会多难，那我们具体看下nutch怎么做地？肯定是有帮助咯.）
Output:方法主体框架:它做了好多事情啊.
//key :分析该url的文本内容 datum:该url的相关信息 Content 该url文本内容 pstatus 返回的爬取状态传进来的code与pstatus是对应地
ParseStatus output(Text key, CrawlDatum datum, Content content, ProtocolStatus pstatus, int status)
{. . . try {//在页面分析前对一个url的权重得分计算，默认是不变,这里如果想改进爬虫的侧重点的可以做点文章．^-^
scfilters.passScoreBeforeParsing(key, datum, content);} catch (Exception e) {}
Parse parse = null;//新建一个用于封装爬取内容主体的Parse类，涉及了ParseData类,封装信息包括了页面标题，主体，outlinks等.
if (parsing && status == CrawlDatum.STATUS_FETCH_SUCCESS) {
ParseStatus parseStatus;
try {//这里使用HtmlParser进行主体内容的信息封装，当然具体有兴趣地可以继续看，涉及neko和tagsoup两种不同的方式去浏览文本内容，一个是基于Dom的一个是基于SAX的.nutch就是根据配置文件里的信息，默认使用neko基于Dom的方式给网页进行Ｄom树建立地．在HTMLParser.getParse(Content)方法中是详细的，根据DocumentFragment root这个根节点信息对Parse类进行封装从而返回这个Parse类
parse = this.parseUtil.parse(content); parseStatus = parse.getData().getStatus();
} catch (Exception e) {．．．}
．．．//这里要计算一个网页的签名？？我不知道是什么意思．一个网页的签名是什么意思我还没弄懂．希望有朋友给我解释下
byte[] signature = SignatureFactory.getSignature(getConf()).calculate(content, parse);. . .
try {//在分析结束后重新计算得分
scfilters.passScoreAfterParsing(key, content, parse);
} catch (Exception e) {}
try {
//执行了分布式的任务，再以后我会对这个底层分布式文件系统Hadoop做更详细地分析咯.这个好难啃ORZ
output.collect
(key,new FetcherOutput(datum,storingContent ? content : null,
parse != null ? new ParseImpl(parse) : null));
} catch (IOException e) {}
//返回分析文本的状态．
if (parse != null) return parse.getData().getStatus();else return null;} }
Nutch0.9代码详细分析之2 主要分析网页爬取之后的页面处理
前一次主要介绍了Nutch爬取网页的流程，在爬取完网页后返回一个ProtocalOutput对象，对爬行回来的信息进行了封装，包括ProtocalStatus返回的HTTP状态码，Content网页的主体内容等信息信息。在Fetcher中，如果我们继续往下看，会看到nutch根据不同的ProtocalStatus返回的状态码进行相应页面主体内容的分析处理。主要的代码如下，分析见注释 fetcherThread.run()的方法主体框架:
try { boolean redirecting;//一个url的使用了重定向标记
int redirectCount = 0;//记录一个url重定向次数必须小于maxRedirect
//见分析 1 中的爬取主要流程，返回一个ProtocalOutput,status纪录了返回的HTTP状态码 switch(status.getCode()) {
case ProtocolStatus.SUCCESS: // got a page
//关键是output方法，该方法通过调用this.parseutil.parse(Content),利用HTMLParser对于爬取下来的网页进行分析，把结果的信息存储在Parse这个类中，包括了网页内容，标题，outlinks，metadata都在这一部进行封装.返回一个parseStatus类，表示这次网页分析是否成功
// url:是这次爬取的目标url datum:CrawlDatum类，存储了关于这个url的爬取相关信息 status:网页爬取下来后,ＨＴＴＰ协议所返回的状态象200,300~400,404之类 CrawlDatus里面标识这个url被顺利爬取的static值
pstatus = output(url, datum, content, status,CrawlDatum.STATUS_FETCH_SUCCESS);
updateStatus(content.getContent().length);
if (pstatus != null && pstatus.isSuccess() &&pstatus.getMinorCode()
== ParseStatus.SUCCESS_REDIRECT) {
//如果url是重定向的，进行相应地处理存储新的url在newurl中，如果newurl和这次爬取的url相同
//那么放弃，如果不同则设置redirecting=true,在一次对这个newurl进行爬取，直到爬取成功或者redirectcount>maxredirect
String newUrl = pstatus.getMessage();
. . . break;
case ProtocolStatus.MOVED:// 如果网页进行了重定向情况下处理，同上分析
case ProtocolStatus.TEMP_MOVED: . . . break;
case ProtocolStatus.EXCEPTION: // 出现了错误怎么办？
logError(url, status.getMessage());break;
// 网页没有找到几种情况，Content=null
case ProtocolStatus.GONE: // gone
case ProtocolStatus.NOTFOUND:
case ProtocolStatus.ACCESS_DENIED:
case ProtocolStatus.ROBOTS_DENIED:
case ProtocolStatus.NOTMODIFIED:
output(url, datum, null, status, CrawlDatum.STATUS_FETCH_GONE);
break;
default:. . . }
//如果设置了重爬标记，那么重新爬取新的url
} while (redirecting && (redirectCount < maxRedirect));
如果有人曾经和我一样，疑问nutch如何对网页进行分析呢？以上分析后关键就是output方法了。（当然自己写一个网页分析的不会多难，那我们具体看下nutch怎么做地？肯定是有帮助咯.）
Output:方法主体框架:它做了好多事情啊.
//key :分析该url的文本内容 datum:该url的相关信息 Content 该url文本内容 pstatus 返回的爬取状态传进来的code与pstatus是对应地
ParseStatus output(Text key, CrawlDatum datum, Content content, ProtocolStatus pstatus, int status)
{. . . try {//在页面分析前对一个url的权重得分计算，默认是不变,这里如果想改进爬虫的侧重点的可以做点文章．^-^
scfilters.passScoreBeforeParsing(key, datum, content);} catch (Exception e) {}
Parse parse = null;//新建一个用于封装爬取内容主体的Parse类，涉及了ParseData类,封装信息包括了页面标题，主体，outlinks等.
if (parsing && status == CrawlDatum.STATUS_FETCH_SUCCESS) {
ParseStatus parseStatus;
try {//这里使用HtmlParser进行主体内容的信息封装，当然具体有兴趣地可以继续看，涉及neko和tagsoup两种不同的方式去浏览文本内容，一个是基于Dom的一个是基于SAX的.nutch就是根据配置文件里的信息，默认使用neko基于Dom的方式给网页进行Ｄom树建立地．在HTMLParser.getParse(Content)方法中是详细的，根据DocumentFragment root这个根节点信息对Parse类进行封装从而返回这个Parse类
parse = this.parseUtil.parse(content); parseStatus = parse.getData().getStatus();
} catch (Exception e) {．．．}
．．．//这里要计算一个网页的签名？？我不知道是什么意思．一个网页的签名是什么意思我还没弄懂．希望有朋友给我解释下
byte[] signature = SignatureFactory.getSignature(getConf()).calculate(content, parse);. . .
try {//在分析结束后重新计算得分
scfilters.passScoreAfterParsing(key, content, parse);
} catch (Exception e) {}
try {
//执行了分布式的任务，再以后我会对这个底层分布式文件系统Hadoop做更详细地分析咯.这个好难啃ORZ
output.collect
(key,new FetcherOutput(datum,storingContent ? content : null,
parse != null ? new ParseImpl(parse) : null));
} catch (IOException e) {}
//返回分析文本的状态．
if (parse != null) return parse.getData().getStatus();else return null;} }