1
当我在PyTorch中使用Adam优化器降低学习速度时，损失会突然跳升
我正在auto-encoder使用Adam优化器（带有amsgrad=True）和MSE loss单通道音频源分离任务来训练网络。每当我将学习速率降低一个因素时，网络损耗就会突然跳升，然后下降，直到学习速率再次下降。 我正在使用Pytorch进行网络实施和培训。 Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in learning rate every 25 epochs, and Creating …