第三周:浅层神经网络课堂笔记

 3.2神经网络的表示

 第三周:浅层神经网络课堂笔记

该神经网络由两层组成,隐藏层数为一

隐藏层的含义是:在训练集中,这些中间节点的真正数值我们是不知道的,在训练集你看不到他们的数值。你只能看到输入值,也能看见输出值。这就是所谓的隐藏层

 

第零层:向量X表示输入特征,输入特征的数值还有另外一种表示方式,用a[0]来表示,X=a[0]

 

第一层为隐藏层

第二层是一个输出层,会产生某个数值a[2]的实数,y帽的值就是a[2]

这里的图示,是一个双层神经网络,当我们计算网络的层数时,不计算输入层。在约定符号中将输入层称为第零层。

最后:隐藏层以及最后的输出层,是带有参数的,这里的隐藏层有两个相关的参数wb,使用上标[1]w[1]b[1]表示这些参数,之后我们会看到w是一个4*3的矩阵,而b在这个例子中是一个4*1的向量。第一个数字4,意思是有4个节点,或者说4个隐藏单元,数字3表示这里有3个输入特征。向量维数问题请参考4.3核对矩阵的维数

 输出层和他有关的参数为w[2]b[2]。从维数看,分别是1*4以及1*11*4是因为隐藏层有4个隐藏单元,而输出层只有一个单元

3.3计算神经网络的输出

 第三周:浅层神经网络课堂笔记

第三周:浅层神经网络课堂笔记

第三周:浅层神经网络课堂笔记

3.4 :如何把多个训练样本堆叠起来放入到矩阵的各列中?

第三周:浅层神经网络课堂笔记

第三周:浅层神经网络课堂笔记

3.5:向量化实现的解释

第三周:浅层神经网络课堂笔记

第三周:浅层神经网络课堂笔记

3.6:激活函数

 

 

第三周:浅层神经网络课堂笔记

 

 

3.8激活函数的求导过程

第三周:浅层神经网络课堂笔记

第三周:浅层神经网络课堂笔记

3.9-3.10神经网络的梯度下降法(bp算法的推导)

https://blog.csdn.net/qq_32865355/article/details/80260212?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-5.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-5.nonecase