Mahout朴素无华贝叶斯文本分类
Mahout朴素贝叶斯文本分类算法
Mahout贝叶斯分类器按照官方的说法，是按照《Tackling the PoorAssumptions of Naive Bayes Text Classiers》实现的。分为三个模块：训练、测试和分类。该文档首先简要介绍朴素贝叶斯的基本原理，然后介绍MapReduce实现的思路。
一、MapReduce 朴素贝叶斯算法实现
（一）预处理
在训练和分类之前都需要将小文档合并，以及分词处理。大量的小文档会让NameNode占用太多的内存空间存储元数据，另一方面在执行MapReduce时会占用太多的Map槽。
（二）训练
将训练数据组织成下图的结构。子文件夹的名字为类型名，子文件夹下为该类的文档。子文件夹下不能有文件夹。
训练数据目录结构
该过程将训练数据生成model，生成三个目录：trainer-tfidf、trainer-weights和trainer-thetaNormalizer 。有四个Job完成该过程。抽取正则化的特征，计算TFIDF，计算权重和计算正则化因子。
(1)特征抽取
输入数据格式：
|
clazzlable |
文档内容 |
Map:
对每一篇文档分词后计算该片文档中的词频（wordcount）、、。
输出：
(1)归一化的词频
key：<_WT，lable，token>
value ：
(2)词的文档频率
Key: <_DF，lable，token>
Value: 1
(3)特征数量
Key:<_FC,lable,token>
Value:1
(4)TF
Key:<"_FF”，lable，token>
Value:wordcount
(5)类型数
Key:<_LC，lable>
Value:1
Combiner:
在Map计算完之后value值求和。
Reduce:
在reduce计算主要做特征选择。过滤掉小于最小词频数和最小文档数的词。
最终输出：
trainer-wordFreq，存储归一化的词频。
trainer-termDocCount，存储文档词的文档频率。
trainer-featureCount，存储特征数量。
trainer-docCount，存储类型数量，每个类型的文档数。
(2)计算TFIDF
输入：
trainer-termDocCount，trainer-wordFreq和trainer-featureCount文件。
将trainer-docCount添加到configuration中。
Map:
Configure（JobConf job）{
从configuration中加载trainer-docCount数据。
}
map(StringTupleDoubleWritable,StringTuple,DoubleWritable){
1.对于TF ，直接输出。
2.对于DF=Log(该词对应的类型的总文档数/df)。输出：Key <_WT，lable， token> value:DF
3.对于特征总数，特征词的数量
输出：key <_FS> , value 1
}
Reduce:
1.对于特征集数量，求和，输出 key: <_FS> value: 特征数
2.对于TF和IDF。由于对同一个类型中的同一个词，hadoop会将其值合并在一起，这样reduce传入的同一key的迭代器中只有两个值，一个是TF值，一个是IDF值。计算tfidf =TF*IDF .
输出：key <_WT，lable，token> value :tfidf
最终输出：
trainer-tfidf 文档，key <_WT，lable，token> value :tfidf
(3)计算权重和
该过程为特征和类表计算权重。
输入：
trainer-tfidf文件。格式为key <_WT，label ，token> ，value <tfidf>
Map：
1.特征和，计算全局词特征权重和
从key中拿到token 输出其tfidf值。
输出：key <_SJ，token> value <tfidf>
2.类型label和，计算全局类型权重和
从key中拿到label，输出其tfidf。
输出： key<_SK,label> value <tfidf>
3.特征及label和，计算所有特征所有类型的和
从key中拿到tfidf，输出。
输出： key <_SJSK> value <tfidf>
Reduce：
对map的结果求和，输出。输出格式和map的一样。
(4)计算正则化因子
输入：
trainer-tfidf文件。格式为key <_WT，label ，token> ，value <tfidf>
将trainer-vocabcount 中的数据写入configuration。
Map:
setup(){
从configuration中读取trainer-vocabcount数据。
}
Map{
对输入的每一个词
W=Log(tfidf/(该词的类型的特征和+总特征数))
输出：key <_LTN，label> , value<W>
}
Reduce:
对Map结果求和。
输出：key<_LTN,label> value <SUM(W)>
输出：
trainer-thetaNormalizer文件.格式Key <_LTN,label> value <W>
（三）分类
训练好模型之后，最终会生成如下图的文档结构：
首先将模型信息存储到内存中，InMemoryBayesDatastore 负责。
分类时传入分好词的词数组document，InMemoryBayesDatastore 的实例，没有分出来时默认的类型名（默认为unknow）。
|
public ClassifierResult classifyDocument(String[] document, Datastore datastore, String defaultCategory){ maxWeight =Double.MAX_VALUE; ClassifierResult clazz =new ClassifierResult (); For(int i = 0 ;i <类型总数；i++){ Label =datastore.get(i); Frequency=document中计算词频 TFIDF: 该词在当前类型中的TFIDF Sigma_ k 该类型的tfidf和VocabCount 总特征词个数 Weight= frequency*log[(TFIDF +1.0) /(Sigma_ k +VocabCount)] If(Weight<maxWeight){ maxWeight=Weight; clazz.setLable(Label); } } clazz.setScore(maxWeight); return clazz； } |
在map中做分类，输出分类结果。
输入：输入文件格式：文档路径\t分词后的文档内容
Map:
setUp（）{
加载模型。
}
Map(Text key,Text value){//key为文档路径 ，value为分词后的文档内容
（1）对分词后的文档内容计算N-Gram
（2）计算词频
（3）类型=classifyDocument（String[] document,
Datastore datastore,
String defaultCategory)
输出分类结果 key: 文档路径，value：类型
}
（四）测试
测试本身就是分类后统计分类的正确率。
测试数据的格式为：文档类型 \t 分词后的文档内容
Map：key 正确的标签，value 分词后的文档内容
分类后的类型标签=classifyDocument（）;
输出：key <_CT，正确的标签，分类后的标签> value 1
Reduce：对map的value求和。
二、API
第一部分叙述了Mahout 朴素贝叶斯分类算法的实现原理。下面叙述API的使用。在说API之前先说说文本预处理，一般来说需要训练或分类的文本都不太可能是TXT格式的，pdf、word ，html网页等等。首先要做的就是从各种格式的文件中抽取出文本。然后要将文本分词。
（一）训练
对于训练数据，需要组织成如图的目录结构。
art248 ,computer200等都是类型信息,每一类中有若干文本。各类中文本的数量保持基本一致。
每一类中都是大量的小文件，而如果需要用MapReduce做训练，需要合并小文件，组成一个或多个大文件。组合后的文件格式为：
|
类型名 |
\t |
分词后的一个小文件内容 |
参数说明
|
TrainClassfier.main(args []) |
|
|
--gramSize (-ng) |
Ngram 个数，默认为1。5以上运算量大，存储空间多，精度提高小，建议不要使用。 |
|
--input (-i) |
训练数据路径。（注意:是HDFS路径） |
|
--output (-o) |
模型输出路径。（注意：是HDFS路径） |
|
--classifierType (-type) |
分类器类型。bayes ,默认。 |
|
--dataSource (-source) |
模型存储位置，默认是hdfs。实际上Mahout并没有实现其它的存储方式。 |
|
--alpha (-a) |
平滑因子，默认为1。 |
|
--minDf (-mf) |
最小df值，默认为1。 |
|
--minSupport (-ms) |
最小tf值，默认为1。 |
训练后生成的文件：
（二）分类
文类数据和训练数据一样，需要抽取和分词。处理后的待分类数据存放在HDFS的一个目录下。
同样待分类数据再分之前也需要合并，原理同上。
合并后的文件格式（SequenceFile）为：
|
文件路径 |
\t |
分词后的一个小文件内容 |
参数说明：
|
ClassifyClassifier.main(args []); |
|
|
--defaultCat (-default) |
默认的类型，unknown。这种情况出现在模型数据为空。若分类数据出现unknown，需要检查模型。 |
|
--testDir (-d) |
分类数据存放路径 |
|
--encoding (-e) |
编码格式 （UTF-8） |
|
--gramSize (-ng) |
Ngram大小，默认为1。建议和训练的ngram值一样。 |
|
--model (-m) |
模型路径 |
|
--classifierType (-type) |
默认bayes. |
|
--dataSource (-source) |
默认hdfs |
|
--method (-method) |
默认MapReduce |
|
--verbose (-v) |
是否显示文档分类正确或者错误。注意：该参数在分类时作用不大，分类数据不知道原始的类型信息。 |
|
--alpha (-a) |
平滑因子，默认为1。 |
|
--outputDir (-o) |
分类后输出路径。 |
结果文件是SequenceFile，格式如下：
|
文件路径（Text） |
类型（Text） |
（三）测试
测试数据和训练数据的组织一样，合并后的文件格式如下：
|
真实类型 |
\t |
分词后的文档内容 |
参数说明
|
TestClassifier.main(args); |
|
|
--defaultCat (-default) |
默认的类型，unknown。这种情况出现在模型数据为空。若分类数据出现unknown，需要检查模型。 |
|
--testDir (-d) |
分类数据存放路径 |
|
--encoding (-e) |
编码格式 （UTF-8） |
|
--gramSize (-ng) |
Ngram大小，默认为1。建议和训练的ngram值一样。 |
|
--model (-m) |
模型路径 |
|
--classifierType (-type) |
默认bayes. |
|
--dataSource (-source) |
默认hdfs |
|
--method (-method) |
默认MapReduce |
|
--alpha (-a) |
平滑因子 |
|
--verbose (-v) |
是否显示分类正确或者错误。 |
测试结果，模糊矩阵
三、参考文档
1.《Tackling the Poor Assumptions of Naive Bayes Text Classiers》