微博中可扩张(Scalable)的特定主题的影响力分析(二)

微博中可扩展(Scalable)的特定主题的影响力分析(二)

本博客主要介绍了常见的概率主题模型，主要总结LDA及FLDA变形模型的参数，并利用FLDA模型分析社交网络中用户的影响力。主要包括一下内容：

第一：主题模型介绍(Topic Model)

第二：LDA及Gibbs Sampling

第三：FLDA模型及用户影响力的分析

第四：LDA Gibbs Sampling的python实现

第二：LDA及Gibbs Sampling

隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)，是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是，对于每一个主题均可找出一些词语来描述它。

LDA首先由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出^[1]，目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

数学模型

LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

另外，正如Beta分布是二项式分布的共轭先验概率分布，狄利克雷分布作为多项式分布的共轭先验概率分布。因此正如LDA‎贝叶斯网络结构中所描述的，在LDA模型中一篇文档生成的方式如下:

• 从狄利克雷分布中取样生成文档i的主题分布
• 从主题的多项式分布中取样生成文档i第j个词的主题
• 从狄利克雷分布中取样生成主题的词语分布
• 从词语的多项式分布中采样最终生成词语

因此整个模型中所有可见变量以及隐藏变量的联合分布是

最终一篇文档的单词分布的最大似然估计可以通过将上式的以及进行积分和对进行求和得到

根据的最大似然估计，最终可以通过吉布斯采样等方法估计出模型中的参数。

使用吉布斯采样估计LDA参数

在LDA最初提出的时候，人们使用EM算法进行求解，后来人们普遍开始使用较为简单的Gibbs Sampling，具体过程如下：

• 首先对所有文档中的所有词遍历一遍，为其都随机分配一个主题，即z_m,n=k~Mult(1/K),其中m表示第m篇文档，n表示文档中的第n个词，k表示主题，K表示主题的总数，之后将对应的n^(k)_m+1, n_m+1, n^(t)_k+1, n_k+1, 他们分别表示在m文档中k主题出现的次数，m文档中主题数量的和，k主题对应的t词的次数，k主题对应的总词数。
• 之后对下述操作进行重复迭代。
• 对所有文档中的所有词进行遍历，假如当前文档m的词t对应主题为k，则n^(k)_m-1, n_m-1, n^(t)_k-1, n_k-1, 即先拿出当前词，之后根据LDA中topic sample的概率分布sample出新的主题，在对应的n^(k)_m, n_m, n^(t)_k, n_k上分别+1。

∝

• 迭代完成后输出主题-词参数矩阵φ和文档-主题矩阵θ

LDA模型学习参考链接和文献：

http://blog.****.net/yangliuy/article/details/8302599

http://blog.****.net/polly_yang/article/details/8651190

Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. the Journal of machine Learning research, 2003, 3: 993-1022.

Hoffman M, Bach F R, Blei D M. Online learning for latent dirichlet allocation[C]//advances in neural information processing systems. 2010: 856-864.