体重衰减损失是多少？

我从深度学习开始，我有一个问题，我找不到答案，也许我没有正确搜索。我已经看到了这个答案，但仍不清楚什么是重量衰减损失以及它与损失函数之间的关系。

权重衰减指定神经网络中的正则化。

在训练期间，将正则化项添加到网络的损耗中以计算反向传播梯度。该weight decay值确定该正则化项在梯度计算中的主导地位。

根据经验，培训示例越多，该术语应越弱。参数越多，则该术语应越高。

因此，权重衰减是惩罚大权重的正则化术语。当权重衰减系数大时，大权重的惩罚也大，当权重衰减量小的时候，权重可以自由增长。

因此，现在，如果您重新阅读在问题中链接的答案，那么现在就完全可以理解了。