MIT新研究参透批归一化原理
批归一化（BatchNorm）是一种广泛采用的技术，用于更快速、更稳定地训练 深度神经网络 （DNN）。尽管应 … 更多 “MIT新研究参透批归一化原理”
标签：梯度
烧脑！CMU、北大等合着论文真的找到了神经网络的全局最优解
一直以来，我们都不知道为什幺 深度神经网络 的损失能降到零，降到零不代表着全局最优了幺？这不是和一般 SGD … 更多 “烧脑！CMU、北大等合着论文真的找到了神经网络的全局最优解”
WGAN-div：一个默默无闻的WGAN填坑者
今天我们来谈一下 Wasserstein散度 ，简称“W散度”。注意，这跟 Wasserstein距离 （Wa … 更多 “WGAN-div：一个默默无闻的WGAN填坑者”
分布式机器学习的参数服务器
介绍 许多机器学习问题依赖大量的数据进行训练，然后进行推理。大型互联网规模的公司用tb或pb的数据进行训练，并 … 更多 “分布式机器学习的参数服务器”