LSTM与Highway-LSTM算法实现的研究（一）

LSTM与Highway-LSTM算法实现的研究（1）

zoerywzhou@gmail.com

http://www.cnblogs.com/swje/

作者：Zhouw

2015-12-22

声明：

1）该LSTM的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。

2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。

3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。

请联系：zoerywzhou@gmail.com 或13813017783@163.com

本研究课题系本人本科毕业设计，开题报告初步确定，后面会实时更新，希望能与大家相互交流，共同进步！

一、研究计划：

1、理解LSTM的基本概念、原理与相关应用

2、剖析LSTM的代码实现

3、理解深度学习中Highway的思想，以及如何在LSTM中实现Highway

4、剖析Highway-LSTM代码

5、选择一个应用，进行验证

定期（每隔一月）对算法剖析的进展做总结，目标在3月底，完全掌握LSTM的代码与算法。

二、以下为部分学习资料的链接：

Github上的资源：

Basic LSTM (LUA) https://github.com/wojzaremba/lstm

Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn

Highway LSTM by Torch (LUA) https://github.com/yoonkim/lstm-char-cnn

LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/

LSTM implementation: http://apaszke.github.io/posts.html

部分参考文献：

[High-way-lstm-1]High-way LSTM RNNS FOR Distant Speech Recognition.pdf ： http://yunpan.cn/cuAYRBGLtX6UJ 访问密码 510b

[High-way-lstm-2]Character-Aware Neural Language Models.pdf ： http://yunpan.cn/cuAYRBGLtX6UJ 访问密码 510b

神经网络课件：NN-Lectures：CSC321 Winter 2015 Introduction to Neural Networks： https://yunpan.cn/cuy5wD7eUEYUq 访问密码 0442

我的学习计划如下：

1、2015.12.23、24，28-30；2016.1.4、5 （一周时间）————理解LSTM的基本概念、原理与相关应用

　　（1）结合NN-lectures课件和以下网址看BP算法，了解其原理：（2015.12.23、24）

　　　　　　Calculus on Computational Graphs: Backpropagation：http://colah.github.io/posts/2015-08-Backprop/

　　　　　　Principles of training multi-layer neural network using backpropagation：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

　　（2）理解LSTM的基本概念、原理：（28、29、30，2016.1.4、5）

　　　　　　LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/

　　　　　　LSTM implementation: http://apaszke.github.io/posts.html

　　　　　 RNN以及LSTM的介绍和公式梳理：http://blog.****.net/Dark_Scope/article/details/47056361　　　　

　　　　　　深入浅出LSTM神经网络：http://www.****.net/article/2015-06-05/2824880

2、2016.1.6-2016.1.25 ————剖析LSTM的代码实现，动手编程序，并写一篇总结日志，发布到****上：

　　　　2016.1.6-2016.1.11 ——Basic LSTM (LUA) https://github.com/wojzaremba/lstm

　　　　2016.1.12-2016.1.23 ——Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn

　　　　2016.1.24-2016.1.25 ——写一篇总结日志，发布到****上

　非学习时间：2016.1.26-2016.2.14：

　{

　　　　2016.1.26寒假回家……

　　　　放松几天，聚会啊探亲啊玩呀吃呀。。然后减肥呀。。。

　　　　提高time：健身啊、读书啊【写写读后感】、写日志【完成日志《保研之路》，分享到保研论坛】

　}

3、2016.2.15-2016.2.21 ————理解深度学习中Highway的思想，以及如何在LSTM中实现Highway

　看论文：

　[High-way-lstm-1]High-way LSTM RNNS FOR Distant Speech Recognition.pdf ： http://yunpan.cn/cuAYRBGLtX6UJ 访问密码 510b

　[High-way-lstm-2]Character-Aware Neural Language Models.pdf ： http://yunpan.cn/cuAYRBGLtX6UJ 访问密码 510b

4、2016.2.23-2016.3.15 ————剖析Highway-LSTM代码