hello-循环神经网络(RNN)原理

hello-循环神经网络(RNN)原理

主要的应用:机器翻译,自然语言处理,文本处理,语音识别, 图像描述生成 (Generating Image Descriptions), 图像问答QA....

hello-循环神经网络(RNN)原理

1. RNN怎么来的?
2. RNN的网络结构及原理

hello-循环神经网络(RNN)原理
3. RNN的改进1:双向RNN
4. RNN的改进2:深层双向RNN
4.1 Pyramidal RNN
5. RNN的训练-BPTT
6. RNN与CNN的结合应用:看图说话
7. RNN项目练手

  • 循环神经网络(RNN, Recurrent Neural Networks)介绍

       本系列将实现一个基于循环神经网络的语言模型(recurrent neural network based language model)。该实现包含两个方面:一是能够得到任意语句在现实中成立的得分,其提供了判断语法与语义的正确性的度量方式。该模型是机器翻译中的典型应用。二是模型能够产生新的文本,这是一个非常棒的应用。比如,对莎士比亚的文章进行训练,能够产生一个新的类似莎士比亚的文本,目前,这个有趣的想法已经被Andrew Karpathy基于RNNs的字符级别的语言模型实现了。 

  1. Word2Vec Tutorial—The Skip-Gram Model
  2. Word Embedding Explained and Visualized
  3. Vector Representation of Words