Questions tagged «automatic-differentiation»

1
反向模式自动微分的分步示例
不知道这个问题是否属于这里,但它与优化中的梯度方法密切相关,在这里似乎很热门。无论如何,如果您认为其他社区对此主题有更好的专业知识,请随时迁移。 简而言之,我正在寻找反向模式自动微分的分步示例。关于该主题的文献不多,并且在不了解其背后的理论的情况下,很难理解现有的实现(例如TensorFlow中的内容)。因此,如果有人能详细显示我们传入的内容,我们如何处理它以及从计算图中得出的内容,我将非常感激。 我最难解决的几个问题: 种子 -为什么我们完全需要它们? 反向差异化规则 -我知道如何进行差异化,但是我们如何向后退?例如,在从示例本节,我们怎么知道w2¯=w3¯w1w2¯=w3¯w1\bar{w_2}=\bar{w_3}w_1? 我们只使用符号还是通过实际值?例如,在相同的示例,是wiwiw_i和wi¯wi¯\bar{w_i}符号或值?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.