更新:
原始的MSE实现如下所示:
def mean_squared_error(y_true, y_pred):
if not K.is_tensor(y_pred):
y_pred = K.constant(y_pred)
y_true = K.cast(y_true, y_pred.dtype)
return K.mean(K.square(y_pred - y_true), axis=-1)
我认为正确的最大化器损失函数:
def mean_squared_error_max(y_true, y_pred):
if not K.is_tensor(y_pred):
y_pred = K.constant(y_pred)
y_true = K.cast(y_true, y_pred.dtype)
return K.mean(K.square(1 / (y_pred - y_true)), axis=-1)
这样,我们总是获得正的损耗值,就像MSE函数一样,但是效果相反。
更新2:
最初我写的,是直观的第一个想法简单地否定损失将不给予我们所期望的,因为的优化方法基本概念的结果(你可以读到一篇有趣的讨论,在这里)。在我仔细检查了两种方法在特定学习任务中的结果之后(注意:我没有进行全面测试),这两种方法都使损失最大化,尽管该-loss
方法收敛得更快。由于此处描述的可能问题,我不确定是否总是提供最佳解决方案或任何解决方案。如果有人有其他经验,请告诉我。
因此,如果有人也想尝试一下-loss
:
def mean_squared_error(y_true, y_pred):
if not K.is_tensor(y_pred):
y_pred = K.constant(y_pred)
y_true = K.cast(y_true, y_pred.dtype)
return - K.mean(K.square(y_pred - y_true), axis=-1)
额外细节:
OP写道:
我有一个生成式对抗网络,其中通过MSE使鉴别器最小化,并且使生成器最大化。因为两者都是追求相反目标的对手。
从Ibragil提供的链接中:
同时,生成器正在创建新的合成图像,并将其传递给鉴别器。这样做是为了希望即使它们是假的,它们也将被认为是真实的。生成器的目标是生成可传递的手写数字:说谎而不被抓住。鉴别器的目的是将来自发生器的图像识别为伪造的。
所以这是一个不适的问题:
在GAN中,我们的最终目标是训练我们的两个对手,使鉴别器和生成器在彼此之间表现得尽可能好。这意味着,这两个基础学习算法具有不同的任务,但是可以实现最优解的损失函数是相同的,即binary_crossentropy
,因此模型的任务是最大程度地减少这种损失。
一个鉴别模型的编译方法:
self.discriminator.compile(loss='binary_crossentropy', optimizer=optimizer)
一个发电机模型的编译方法:
self.generator.compile(loss='binary_crossentropy', optimizer=optimizer)
就像两个跑步者的目标一样,即使他们在这项任务中是竞争对手,也要尽可能减少到达终点的时间。
因此,“相反的目标”并不意味着相反的任务,即最大程度地减少损失(例如,使跑步者的时间最少)。
希望对您有所帮助。