增大Batch训练神经网络:单GPU、多GPU及分布式配置的实用技巧

2018年中的大部分时间,我都在尝试利用训练神经网络克服GPUs的局限。无论是在包含1.5亿个参数的语言模型中 … Continue reading “增大Batch训练神经网络:单GPU、多GPU及分布式配置的实用技巧”