如何改善神经网络的稳定性？

我在R中使用神经网络来构建具有14个输入和一个输出的NN。我使用相同的输入训练数据和相同的网络体系结构/设置几次构建/训练网络。

生成每个网络之后，我将其用于独立的一组测试数据上以计算一些预测值。我发现，尽管每次构建网络时所有输入（训练数据和测试数据）都保持不变，但预测数据的每次迭代都存在较大差异。

我知道每次在NN中产生的权重都会有所不同，并且没有两个神经网络会是相同的，但是在给定相同数据的情况下，我该如何尝试在每个列车上产生更一致的网络？

通常，通过增加隐藏节点的数量并使用适当的权重衰减（aka岭罚分），您将获得更高的稳定性。

具体来说，我建议您使用该caret软件包更好地了解您的准确性（甚至准确性的不确定性。）同时，插入符号还avNNet使集合学习者脱离多个神经网络，以减少初始种子的影响。我个人还没有看到使用方面的巨大改进，avNNet但是它可以解决您的原始问题。

我还要确保您的输入均已正确设置。您是否对它们进行正交处理然后重新缩放？插入符还可以通过其pcaNNet功能为您执行此预处理。

最后，您可以考虑折腾一些跳过层的连接。您需要确保数据中没有异常值/杠杆值点，但要使这些连接倾斜。

我尚未使用R，因此只能提供更多一般性提示。

您是否检查了算法是否收敛？一种可能的解释可能是，不同的参数集全都在同一最优值的一半位置。

如果算法始终收敛，但收敛到不同的局部最优值，那么您可以尝试使用许多启发式方法来避免这些问题。使用随机梯度下降（SGD）时，一种简单的策略是使用较小的批次和较大的动量。较小的批次大小有效地将一些噪声引入到训练中，这可以帮助避免某些局部最优。一种更复杂的策略是使用自动编码器初始化权重。