Press "Enter" to skip to content

深度学习基础知识入门及案例代码实战-深度学习牛刀小试

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

1 神经网络基础知识整理

 

RNN网络模型

概率函数

Softmax分类器是不知道满足的分类器

Softmax分类器计算步骤先exp,再归一化映射到概率值(0-1),最后计算损失函数Li

0.13表示猫的概率,通过Li LOG函数变的越大,0.89 离正确类别越远。

SVM与Softmax对比(SVM在10,9,9的结果中计算损失值,损失值将为0,分类效果将不会太好)


最优化问题(前向传播,从输入值到损失值的过程,前向传播已经得到初始的权重参数,然后反向传播将主导权重参数的变化)


梯度下降


反向传播(权重参数对最终的Loss值产生了多大影响,进行回馈调节)
链式法则(反向影响可以链式相乘)


反向传播计算法则

反向传播函数封装求解

反向传播基本规律

2 神经网络重要特点(激活函数才是决策者)

层次结构

非线性,只有非线性(激活函数)才能最终得到分类结果

Sigmoid函数的弊端(梯度消失问题,w1为0.01时,w0已经不能被反馈更新)


ReLu首选激活函数(x<0等于0)

3 神经网络展示结果

 

3.1 神经元对分类的影响

神经元为一个:

神经元为二个:

神经元为三个:

20个,产生了过拟合问题

3.2 正则化的作用

3.3 数据的预处理

3.4 权重初始化(w采用高斯初始化或者随机初始化,b采用0初始化)

3.5 DROP-OUT过程(每次前项传播和后向传播根据保留率随机选择)

4 总结

 

方便复习,整成笔记,内容粗略,勿怪。

 

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:[email protected],如有任何学术交流,可随时联系。

 

秦凯新 于深圳

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注