我正在将我的Caffe网络移植到TensorFlow上，但是它似乎没有进行大量初始化。我正在使用，truncated_normal但这似乎使训练变得更加困难。
Answers:
在Tensorflow 2.0和更高版本中，tf.contrib.*和tf.get_variable()均已弃用。为了进行Xavier初始化，您现在必须切换到：
init = tf.initializers.GlorotUniform()
var = tf.Variable(init(shape=shape))
# or a oneliner with a little confusing brackets
var = tf.Variable(tf.initializers.GlorotUniform()(shape=shape))
Glorot制服和Xavier制服是同一初始化类型的两个不同名称。如果您想了解有关如何在带有或不带有Keras的TF2.0中使用初始化的更多信息，请参考文档。
从0.8版开始，有一个Xavier初始化程序，请参阅docs。
您可以使用如下形式：
W = tf.get_variable("W", shape=[784, 256],
initializer=tf.contrib.layers.xavier_initializer())
get_variable而是给初始化器吗？我曾经有过tf.truncated_normal(shape=[dims[l-1],dims[l]], mean=mu[l], stddev=std[l], dtype=tf.float64)，我在那里指定了形状，但是现在您的建议有点把我的代码搞砸了。你有什么建议吗？
tf.Variable(...)与您使用和使用相同签名的包装器即可tf.get_variable(...)
仅添加另一个示例，说明如何tf.Variable使用Xavier和Yoshua的方法定义初始化的方法：
graph = tf.Graph()
with graph.as_default():
...
initializer = tf.contrib.layers.xavier_initializer()
w1 = tf.Variable(initializer(w1_shape))
b1 = tf.Variable(initializer(b1_shape))
...
nan当使用多层带有RELU时，由于数值不稳定，这使我无法获得损失函数的值。
@ Aleph7，Xavier / Glorot初始化取决于传入连接的数量（fan_in），传出连接的数量（fan_out）以及神经元的激活函数类型（S型或tanh）。看到这个：http : //jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf
所以现在，到您的问题。这就是我在TensorFlow中要做的事情：
(fan_in, fan_out) = ...
low = -4*np.sqrt(6.0/(fan_in + fan_out)) # use 4 for sigmoid, 1 for tanh activation
high = 4*np.sqrt(6.0/(fan_in + fan_out))
return tf.Variable(tf.random_uniform(shape, minval=low, maxval=high, dtype=tf.float32))
请注意，我们应该从均匀分布中采样，而不是从其他答案中建议的正态分布中采样。
顺便说一句，我昨天在TensorFlow上写了一篇不同的文章，碰巧也使用Xavier初始化。如果您感兴趣的话，还有一个带有端到端示例的python笔记本：https : //github.com/delip/blog-stuff/blob/master/tensorflow_ufp.ipynb
一个不错的包装，tensorflow称为prettytensor可以在源代码中实现一个实现（直接从此处复制）：
def xavier_init(n_inputs, n_outputs, uniform=True):
"""Set the parameter initialization using the method described.
This method is designed to keep the scale of the gradients roughly the same
in all layers.
Xavier Glorot and Yoshua Bengio (2010):
Understanding the difficulty of training deep feedforward neural
networks. International conference on artificial intelligence and
statistics.
Args:
n_inputs: The number of input nodes into each output.
n_outputs: The number of output nodes for each input.
uniform: If true use a uniform distribution, otherwise use a normal.
Returns:
An initializer.
"""
if uniform:
# 6 was used in the paper.
init_range = math.sqrt(6.0 / (n_inputs + n_outputs))
return tf.random_uniform_initializer(-init_range, init_range)
else:
# 3 gives us approximately the same limits as above since this repicks
# values greater than 2 standard deviations from the mean.
stddev = math.sqrt(3.0 / (n_inputs + n_outputs))
return tf.truncated_normal_initializer(stddev=stddev)
TF-contrib具有xavier_initializer。这是一个示例如何使用它：
import tensorflow as tf
a = tf.get_variable("a", shape=[4, 4], initializer=tf.contrib.layers.xavier_initializer())
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print sess.run(a)
除此之外，tensorflow还有其他初始化器：
我看了看，找不到任何内置的东西。但是，根据此内容：
http://andyljones.tumblr.com/post/110998971763/an-explanation-of-xavier-initialization
Xavier初始化只是采样（通常是高斯分布），其中方差是神经元数量的函数。 tf.random_normal可以为您做到这一点，您只需要计算stddev（即，您要初始化的权重矩阵表示的神经元数量）。
通过kernel_initializer参数tf.layers.conv2d, tf.layers.conv2d_transpose, tf.layers.Dense 等
例如
layer = tf.layers.conv2d(
input, 128, 5, strides=2,padding='SAME',
kernel_initializer=tf.contrib.layers.xavier_initializer())
https://www.tensorflow.org/api_docs/python/tf/layers/conv2d
https://www.tensorflow.org/api_docs/python/tf/layers/conv2d_transpose