Questions tagged «noise»

我正在尝试训练神经网络进行分类，但是我拥有的标签比较吵（大约30％的标签是错误的）。 交叉熵损失确实有效，但是我想知道在这种情况下是否有其他方法更有效？还是交叉熵损失最优？ 我不确定，但是我正在考虑某种程度地“减少”交叉熵损失，这样一个数据点的损失将不大于某个上限，这行得通吗？ 谢谢！ 更新 根据卢卡斯的答案，我得到了预测输出和softmax函数z的输入的导数。所以我想基本上是在增加一个平滑项3ÿyyžzz为导数。p我=0.3/Ñ+0.7Ŷ我升=-Σ吨我登录（p我）∂升37 N37N\frac{3}{7N} p一世= 0.3 /牛+ 0.7 ÿ一世pi=0.3/N+0.7yip_i=0.3/N+0.7y_i l = − ∑ t一世日志（p一世）l=−∑tilog⁡(pi)l=-\sum t_i\log(p_i) ∂升∂升∂ÿ一世= - 吨一世∂日志（p一世）∂p一世∂p一世∂ÿ一世= - 0.7 吨一世p一世= - 吨一世37 N+ y一世∂l∂yi=−ti∂log⁡(pi)∂pi∂pi∂yi=−0.7tipi=−ti37N+yi\frac{\partial l}{\partial y_i}=-t_i\frac{\partial\log(p_i)}{\partial p_i}\frac{\partial p_i}{\partial y_i}=-0.7\frac{t_i}{p_i}=-\frac{t_i}{\frac{3}{7N}+y_i} 衍生物为原交叉熵损失： ∂升∂升∂ž一世= 0.7 ∑ĴŤĴpĴ∂ÿĴ∂ž一世= y一世∑ĴŤĴÿĴ37 N+ yĴ- Ť一世ÿ一世37 N+ y一世∂l∂zi=0.7∑jtjpj∂yj∂zi=yi∑jtjyj37N+yj−tiyi37N+yi\frac{\partial l}{\partial z_i}=0.7\sum_j\frac{t_j}{p_j}\frac{\partial y_j}{\partial z_i}=y_i\sum_jt_j\frac{y_j}{\frac{3}{7N}+y_j}-t_i\frac{y_i}{\frac{3}{7N}+y_i} ∂升∂升∂ÿ一世= - 吨一世ÿ一世∂l∂yi=−tiyi\frac{\partial …

13 machine-learning  neural-networks  loss-functions  noise 

当存在一些测量误差时，我希望从一个振荡函数来分析计算采样点的概率分布。我已经计算了“无噪声”部分的概率分布（我将在结尾处进行介绍），但是我不知道如何包括“噪声”。 数值估算 更清楚地说，假设有一个函数，您可以在一个周期内随机选择点；如果您将直方图上的点归类，您将获得与分布有关的信息。ÿ（x ）= 罪（x ）ÿ（X）=罪⁡（X）y(x) = \sin(x) 无噪音 例如，这里是和相应的直方图š 我Ñ （X ）s一世ñ（X）sin(x) 有噪音 现在，如果存在一些测量误差，那么它将改变直方图的形状（因此，我认为是基本分布）。例如 解析计算 因此，希望我已经说服了两者之间存在一些差异，现在我将写出如何计算“无噪音”情况： 无噪音 ÿ（x ）= 罪（x ）ÿ（X）=罪⁡（X） y(x) = \sin(x) 然后，如果我们采样的时间是均匀分布的，则的概率分布必须满足：ÿÿy P（y）dÿ= dX2个πP（ÿ）dÿ=dX2π P(y) dy = \frac{dx}{2\pi} 然后因为 dXdÿ= ddÿ（反正弦（y）） = 11 − y2-----√dXdÿ=ddÿ（反正弦⁡（ÿ））=1个1个-ÿ2\frac{dx}{dy} = \frac{d}{dy}\left(\arcsin(y)\right) = \frac{1}{\sqrt{1 - y^{2}}} 所以 P（y）= 12个π1 − y2-----√P（ÿ）=1个2π1个-ÿ2 …

12 distributions  normal-distribution  noise 

我正在尝试编写一个函数，该函数会产生均匀分布的噪声，该噪声来自维的p范数球：nnn ||x||p≤r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} 我找到了可能的圆的解决方案（）（http://mathworld.wolfram.com/DiskPointPicking.html），但是我很难将其扩展为不同值。p=2p=2p = 2ppp 我尝试通过仅从均匀分布中抽取随机样本并在不满足给定约束的情况下重绘来进行尝试。但是，除了它是一个丑陋的解决方案之外，它在高尺寸方面在计算上也不可行。

11 simulation  noise