上海交大：基于近似随机Dropout的LSTM训练加速
在这篇文章中，作者利用Dropout方法在神经网络训练过程中产生大量的稀疏性进行神经网络的训练加速。该论文已经 … Continue reading “上海交大：基于近似随机Dropout的LSTM训练加速”
标签：SGD
全局最优解？为什么 SGD 能令神经网络的损失降到零
昨日，reddit 上一篇帖子引发热议，该帖介绍了一篇关于梯度下降对过参数化神经网络影响的论文，该论文只用单个 … Continue reading “全局最优解？为什么 SGD 能令神经网络的损失降到零”
别用大批量mini-batch训练神经网络，用局部SGD！
介绍 随机梯度下降（SGD）由于其极高的效率，成为目前大多数机器学习应用中最常见的训练方法。在考虑计算效率时， … Continue reading “别用大批量mini-batch训练神经网络，用局部SGD！”
SGD在两层神经网络上是怎幺收敛的？
神经网络很神奇的地方是，你设计一个不算复杂的结构（那些一百层一千层的网络，其实每一层长得都差不多），使用一个非 … Continue reading “SGD在两层神经网络上是怎幺收敛的？”