Questions tagged «sums-of-squares»

我观察到Caffe（深度学习框架）使用Softmax损失层 SoftmaxWithLoss作为大多数模型样本的输出层。 据我所知，Softmax损失层是多项逻辑损失层和Softmax层的组合。 他们从Caffe说 Softmax损失层梯度计算在数值上更稳定 但是，这种解释不是我想要的答案，它只是比较多项逻辑损失层和Softmax损失层的组合，而不是逐层进行比较。但是不能与其他类型的损失函数相比较。 但是，我想更多地了解在监督学习的角度来看这3个误差函数（即多项式Lo​​gistic损失，交叉熵（CE）和平方误差（SE））的区别/优点/缺点是什么？有支持文章吗？

9 multinomial  entropy  sums-of-squares  softmax 

我有一个带有类别变量的线性回归模型 一个一个A（男性和女性）和一个连续可变。乙乙B 我在的R中设置了对比代码options(contrasts=c("contr.sum","contr.poly"))。现在，我有了，以及它们之间的相互作用（A：B）的类型III平方和。一个一个A乙乙Bdrop1(model, .~., test="F") 我坚持的是如何为计算平方和。我乙乙B认为是sum((predicted y of the full model - predicted y of the reduced model)^2)。简化的模型看起来像y~A+A:B。但是当我使用时predict(y~A+A:B)，R返回的预测值与完整模型的预测值相同。因此，平方和将为0。 （对于 一个一个A，我使用的简化模型y~B+A:B，该模型与相同y~A:B。） 这是随机生成的数据的示例代码： A<-as.factor(rep(c("male","female"), each=5)) set.seed(1) B<-runif(10) set.seed(5) y<-runif(10) model<-lm(y~A+B+A:B) options(contrasts = c("contr.sum","contr.poly")) #type3 sums of squares drop1(model, .~., test="F") #or same result: library(car) Anova(lm(y~A+B+A:B),type="III") #full model predFull<-predict(model) #Calculate sum of squares …

9 regression  anova  sums-of-squares