Questions tagged «normalization»

我知道残留网络（ResNet）使He正常的初始化很流行。在ResNet中，使用He常规初始化，而第一层使用He统一初始化。 我浏览过ResNet论文和“深入整流器”论文（他的初始化论文），但是我没有发现任何有关普通init和统一init的信息。 也： 批处理规范化使我们可以使用更高的学习率，而对初始化则不必那么小心。 在批处理规范化论文的摘要中，可以说批处理规范化使我们在初始化时不那么小心。 ResNet本身仍在关注何时使用普通init和统一init（而不是仅使用统一init）。 所以： 何时使用（He或Glorot）正态分布初始化而不是统一初始化？ 批处理归一化的正态分布初始化效果是什么？ 除了注释： 使用正常的init和Batch Normalization进行押韵，但是我还没有找到支持这一事实的论文。 我知道ResNet使用He init而不是Glorot init，因为He init在深度网络上的性能更好。 我了解Glorot初始化与He初始化。 我的问题是关于普通vs统一初始化。

51 neural-network  deep-learning  normalization 

因此，最近有一层“ 图层归一化”文章。Keras 上也有一个实现。 但我记得有几篇论文标题为Recurrent Batch Normalization（Cooijmans，2016）和Batch Normalized Recurrent Neural Networks（Laurent，2015）。这三个之间有什么区别？ 我不了解此“相关工作”部分： 批处理规范化先前已扩展到递归神经网络[Laurent等，2015，Amodei等，2015，Cooijmans等，2016]。先前的工作[Cooijmans等，2016]提出，通过为每个时间步保留独立的标准化统计数据，可以获得最佳的循环批标准化性能。作者表明，将循环批归一化层中的增益参数初始化为0.1，会对模型的最终性能产生重大影响。我们的工作还与体重归一化有关[Salimans和Kingma，2016]。在权重归一化中，使用输入权重的L2范数代替方差来归一化对神经元的求和输入。使用预期统计量应用权重归一化或批次归一化等效于对原始前馈神经网络进行不同的参数化。在路径归一化的SGD中研究了ReLU网络中的重新参数化[Neyshabur et al。，2015]。但是，我们提出的层归一化方法不是对原始神经网络进行重新参数化。因此，层归一化模型具有与其他方法不同的不变性，我们将在下一节中研究

30 deep-learning  rnn  normalization  batch-normalization 

已关闭。这个问题需要细节或说明。它当前不接受答案。 想改善这个问题吗？添加详细信息并通过编辑此帖子来澄清问题。 3年前关闭。 我正在研究具有25个功能的虚构数据集。其中两个功能是地点的纬度和经度，其他功能是pH值，海拔高度，windSpeed等变化范围的功能。我可以对其他要素进行归一化，但是如何处理纬度/经度要素？ 编辑：这是预测农业产量的问题。我认为纬度/经度非常重要，因为位置在预测中至关重要，因此造成了困境。

19 machine-learning  python  feature-engineering  feature-scaling  normalization 

我正在使用Brain在包含正值和负值的功能集上训练神经网络。但是Brain需要0到1之间的输入值。什么是标准化我的数据的最佳方法？

14 machine-learning  neural-network  feature-scaling  normalization  javascript 

我正在研究数据扩展，尤其是标准化方法。我已经了解了其背后的数学原理，但是我不清楚为什么赋予特征零均值和单位方差很重要。 你能解释一下吗？

10 machine-learning  feature-scaling  normalization 

我有一个包含20000个样本的数据集，每个样本都有12种不同的功能。每个样本都在类别0或1中。我想训练一个神经网络和一个决策林来对样本进行分类，以便我可以比较结果和这两种技术。 我偶然发现的第一件事是数据的正确规范化。一个特征是在范围，另外一个在[ 30 ，40 ]和有一个特点，大多采用值8和有时7.因此，正如我在不同的来源读取，输入数据的适当的归一化对于神经网络至关重要。我发现，有许多可能的方法可以对数据进行规范化，例如：[0,106][0,106][0,10^6][30,40][30,40][30,40] 最小-最大归一化：输入范围被线性变换到间隔（或可替代[ - 1 ，1 ]，关系？）[0,1][0,1][0,1][−1,1][−1,1][-1,1] Z-分数标准化：该数据被变换为具有零均值和单位方差： ynew=yold−meanVar−−−√ynew=yold−meanVary_{new}=\frac{y_{old}-\text{mean}}{\sqrt{\text{Var}}} 我应该选择哪种归一化？决策林是否也需要规范化？通过Z-Score归一化，我的测试数据的不同功能不在同一范围内。这可能是个问题吗？是否应该使用相同的算法对每个功能进行归一化，以便我决定对所有功能使用Min-Max还是对所有功能使用Z-Score？ 是否有组合，其中数据被映射到，并且还具有零平均值（这将意味着该数据的非线性变换，并因此在方差和输入数据的其他特征的改变）。[−1,1][−1,1][-1,1] 我感到有点迷茫，因为我找不到可以回答这些问题的参考资料。

10 neural-network  decision-trees  normalization