Questions tagged «loss-functions»

我正在努力理解GAN损失功能，这在理解生成对抗网络（由Daniel Seita撰写的博客文章）中提供。 在标准的交叉熵损失中，我们有一个通过S型函数进行的输出以及所得的二进制分类。 西埃塔州 因此，对于[每个]数据点x1x1个x_1及其标签，我们得到以下损失函数... H((x1,y1),D)=−y1logD(x1)−(1−y1)log(1−D(x1))H((x1,y1),D)=−y1log⁡D(x1)−(1−y1)log⁡(1−D(x1)） H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 - D(x_1)) 这只是期望的对数，这是有道理的，但是在GAN损失函数中，我们如何在同一迭代中处理来自真实分布的数据和来自生成模型的数据呢？

17 neural-networks  machine-learning  deep-learning  loss-functions  generative-adversarial-networks 

我正在auto-encoder使用Adam优化器（带有amsgrad=True）和MSE loss单通道音频源分离任务来训练网络。每当我将学习速率降低一个因素时，网络损耗就会突然跳升，然后下降，直到学习速率再次下降。 我正在使用Pytorch进行网络实施和培训。 Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in learning rate every 25 epochs, and Creating …

11 machine-learning  deep-learning  optimization  autoencoders  loss-functions