计算约束(非负)最小二乘法中的p值


10

我一直在使用Matlab来执行无约束的最小二乘(普通最小二乘),它会自动输出系数,检验统计量和p值。

我的问题是,在执行约束最小二乘法(严格为非负系数)时,它仅输出系数,而无检验统计量,p值。

可以计算这些值以确保重要性吗?为何不能直接在软件(或与此相关的任何其他软件)上使用它?


2
您能否阐明“ *计算以确保重要性”的含义?例如,您不能确定自己会在普通最小二乘法中获得显着性;您可以检查重要性,但是您没有办法确保您会明白。您的意思是“是否有一种方法可以用约束最小二乘拟合进行显着性检验?”
Glen_b-恢复莫妮卡

给定问题标题的@Glen_b,我认为“确保”等同于确定。
世纪

1
@HeteroskedasticJim可能; 如果确定是故意的,那肯定是有道理的。
Glen_b-恢复莫妮卡

是的,我的意思是如何计算pvalue来检查是否要拒绝原假设。
cgo

1
表达p值的目标是什么?他们对您有什么意义/重要性/功能?我问的原因是,如果您只是对模型的有效性感兴趣,则可以通过对数据进行分区并使用部分数据来测试获得的模型并获得定量评估模型性能的方法来进行测试。模型。
Sextus Empiricus

Answers:


7

非负最小二乘(NNLS)的求解基于一种使其不同于常规最小二乘的算法

标准误差的代数表达式(不起作用)

使用正则最小二乘法,您可以通过将t检验与系数方差的估计值结合使用来表示p值。

该表达式为系数的估计的样本方差θV - [R θ= σ 2X Ť X - 1的误差的方差σ通常是未知的,但它可以使用残差来估计。该表达式可以从度量y的系数表达式代数式推导θ^

V一个[Rθ^=σ2XŤX-1个
σÿ

θ^=XŤX-1个XŤÿ

这暗示/假定θ可以为负,因此当系数受到限制时会分解。

Fisher信息矩阵的逆(不适用)

的系数的估计的方差/分布也逐渐接近所述观察到的Fisher信息矩阵

θ^-θdñ0一世θ^

但是我不确定这在这里是否适用。NNLS估计不是无偏估计。

蒙特卡罗方法

每当表达式变得太复杂时,您都可以使用一种计算方法来估计错误。使用蒙特卡洛方法,您可以通过模拟实验的重复(重新计算/建模新数据)来模拟实验的随机性分布,并据此估算系数的方差。

θ^σ^


3
χ2

@whuber我在下面添加了一个解决方案,其基础是计算nnls系数为非负值的协变量矩阵的fisher信息,并在变换的对数刻度上计算出fisher信息,以使似然曲线更加对称并在系数上施加正约束。欢迎评论!
汤姆·文瑟勒斯

4

如果您可以使用RI认为可以,则还可以使用bbmlemle2函数来优化最小二乘似然函数,并计算非负nnls系数的95%置信区间。此外,您可以考虑通过优化系数的对数来确定系数不会变为负值,以便在逆变换范围内它们永远不会变为负值。

这是一个说明此方法的数值示例,此处是在对高斯形色谱峰与高斯噪声的叠加进行解卷积的情况下:(欢迎提出任何评论)

首先让我们模拟一些数据:

require(Matrix)
n = 200
x = 1:n
npeaks = 20
set.seed(123)
u = sample(x, npeaks, replace=FALSE) # peak locations which later need to be estimated
peakhrange = c(10,1E3) # peak height range
h = 10^runif(npeaks, min=log10(min(peakhrange)), max=log10(max(peakhrange))) # simulated peak heights, to be estimated
a = rep(0, n) # locations of spikes of simulated spike train, need to be estimated
a[u] = h
gauspeak = function(x, u, w, h=1) h*exp(((x-u)^2)/(-2*(w^2))) # shape of single peak, assumed to be known
bM = do.call(cbind, lapply(1:n, function (u) gauspeak(x, u=u, w=5, h=1) )) # banded matrix with theoretical peak shape function used
y_nonoise = as.vector(bM %*% a) # noiseless simulated signal = linear convolution of spike train with peak shape function
y = y_nonoise + rnorm(n, mean=0, sd=100) # simulated signal with gaussian noise on it
y = pmax(y,0)
par(mfrow=c(1,1))
plot(y, type="l", ylab="Signal", xlab="x", main="Simulated spike train (red) to be estimated given known blur kernel & with Gaussian noise")
lines(a, type="h", col="red")

在此处输入图片说明

现在,让我们y使用一个带状矩阵对卷积后的噪声信号进行反卷积,该带状矩阵包含已知高斯形状模糊核的移位副本bM(这是我们的协变量/设计矩阵)。

首先,让我们用非负最小二乘解卷积信号:

library(nnls)
library(microbenchmark)
microbenchmark(a_nnls <- nnls(A=bM,b=y)$x) # 5.5 ms
plot(x, y, type="l", main="Ground truth (red), nnls estimate (blue)", ylab="Signal (black) & peaks (red & blue)", xlab="Time", ylim=c(-max(y),max(y)))
lines(x,-y)
lines(a, type="h", col="red", lwd=2)
lines(-a_nnls, type="h", col="blue", lwd=2)
yhat = as.vector(bM %*% a_nnls) # predicted values
residuals = (y-yhat)
nonzero = (a_nnls!=0) # nonzero coefficients
n = nrow(bM)
p = sum(nonzero)+1 # nr of estimated parameters = nr of nonzero coefficients+estimated variance
variance = sum(residuals^2)/(n-p) # estimated variance = 8114.505

在此处输入图片说明

现在,让我们优化高斯损失目标的负对数似然性,并优化系数的对数,以便在逆变换范围内它们永远不会为负:

library(bbmle)
XM=as.matrix(bM)[,nonzero,drop=FALSE] # design matrix, keeping only covariates with nonnegative nnls coefs
colnames(XM)=paste0("v",as.character(1:n))[nonzero]
yv=as.vector(y) # response
# negative log likelihood function for gaussian loss
NEGLL_gaus_logbetas <- function(logbetas, X=XM, y=yv, sd=sqrt(variance)) {
  -sum(stats::dnorm(x = y, mean = X %*% exp(logbetas), sd = sd, log = TRUE))
}  
parnames(NEGLL_gaus_logbetas) <- colnames(XM)
system.time(fit <- mle2(
  minuslogl = NEGLL_gaus_logbetas, 
  start = setNames(log(a_nnls[nonzero]+1E-10), colnames(XM)), # we initialise with nnls estimates
  vecpar = TRUE,
  optimizer = "nlminb"
)) # takes 0.86s
AIC(fit) # 2394.857
summary(fit) # now gives log(coefficients) (note that p values are 2 sided)
# Coefficients:
#       Estimate Std. Error z value     Pr(z)    
# v10    4.57339    2.28665  2.0000 0.0454962 *  
# v11    5.30521    1.10127  4.8173 1.455e-06 ***
# v27    3.36162    1.37185  2.4504 0.0142689 *  
# v38    3.08328   23.98324  0.1286 0.8977059    
# v39    3.88101   12.01675  0.3230 0.7467206    
# v48    5.63771    3.33932  1.6883 0.0913571 .  
# v49    4.07475   16.21209  0.2513 0.8015511    
# v58    3.77749   19.78448  0.1909 0.8485789    
# v59    6.28745    1.53541  4.0950 4.222e-05 ***
# v70    1.23613  222.34992  0.0056 0.9955643    
# v71    2.67320   54.28789  0.0492 0.9607271    
# v80    5.54908    1.12656  4.9257 8.407e-07 ***
# v86    5.96813    9.31872  0.6404 0.5218830    
# v87    4.27829   84.86010  0.0504 0.9597911    
# v88    4.83853   21.42043  0.2259 0.8212918    
# v107   6.11318    0.64794  9.4348 < 2.2e-16 ***
# v108   4.13673    4.85345  0.8523 0.3940316    
# v117   3.27223    1.86578  1.7538 0.0794627 .  
# v129   4.48811    2.82435  1.5891 0.1120434    
# v130   4.79551    2.04481  2.3452 0.0190165 *  
# v145   3.97314    0.60547  6.5620 5.308e-11 ***
# v157   5.49003    0.13670 40.1608 < 2.2e-16 ***
# v172   5.88622    1.65908  3.5479 0.0003884 ***
# v173   6.49017    1.08156  6.0008 1.964e-09 ***
# v181   6.79913    1.81802  3.7399 0.0001841 ***
# v182   5.43450    7.66955  0.7086 0.4785848    
# v188   1.51878  233.81977  0.0065 0.9948174    
# v189   5.06634    5.20058  0.9742 0.3299632    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# -2 log L: 2338.857 
exp(confint(fit, method="quad"))  # backtransformed confidence intervals calculated via quadratic approximation (=Wald confidence intervals)
#              2.5 %        97.5 %
# v10   1.095964e+00  8.562480e+03
# v11   2.326040e+01  1.743531e+03
# v27   1.959787e+00  4.242829e+02
# v38   8.403942e-20  5.670507e+21
# v39   2.863032e-09  8.206810e+11
# v48   4.036402e-01  1.953696e+05
# v49   9.330044e-13  3.710221e+15
# v58   6.309090e-16  3.027742e+18
# v59   2.652533e+01  1.090313e+04
# v70  1.871739e-189 6.330566e+189
# v71   8.933534e-46  2.349031e+47
# v80   2.824905e+01  2.338118e+03
# v86   4.568985e-06  3.342200e+10
# v87   4.216892e-71  1.233336e+74
# v88   7.383119e-17  2.159994e+20
# v107  1.268806e+02  1.608602e+03
# v108  4.626990e-03  8.468795e+05
# v117  6.806996e-01  1.021572e+03
# v129  3.508065e-01  2.255556e+04
# v130  2.198449e+00  6.655952e+03
# v145  1.622306e+01  1.741383e+02
# v157  1.853224e+02  3.167003e+02
# v172  1.393601e+01  9.301732e+03
# v173  7.907170e+01  5.486191e+03
# v181  2.542890e+01  3.164652e+04
# v182  6.789470e-05  7.735850e+08
# v188 4.284006e-199 4.867958e+199
# v189  5.936664e-03  4.236704e+06
library(broom)
signlevels = tidy(fit)$p.value/2 # 1-sided p values for peak to be sign higher than 1
adjsignlevels = p.adjust(signlevels, method="fdr") # FDR corrected p values
a_nnlsbbmle = exp(coef(fit)) # exp to backtransform
max(a_nnls[nonzero]-a_nnlsbbmle) # -9.981704e-11, coefficients as expected almost the same
plot(x, y, type="l", main="Ground truth (red), nnls bbmle logcoeff estimate (blue & green, green=FDR p value<0.05)", ylab="Signal (black) & peaks (red & blue)", xlab="Time", ylim=c(-max(y),max(y)))
lines(x,-y)
lines(a, type="h", col="red", lwd=2)
lines(x[nonzero], -a_nnlsbbmle, type="h", col="blue", lwd=2)
lines(x[nonzero][(adjsignlevels<0.05)&(a_nnlsbbmle>1)], -a_nnlsbbmle[(adjsignlevels<0.05)&(a_nnlsbbmle>1)], 
      type="h", col="green", lwd=2)
sum((signlevels<0.05)&(a_nnlsbbmle>1)) # 14 peaks significantly higher than 1 before FDR correction
sum((adjsignlevels<0.05)&(a_nnlsbbmle>1)) # 11 peaks significant after FDR correction

在此处输入图片说明

我没有尝试比较这种方法相对于非参数引导或参数引导的性能,但是肯定更快。

我还倾向于认为,我应该能够nnls基于观察到的Fisher信息矩阵,为非负系数计算Wald置信区间,并以对数变换系数量表进行计算以实施非负约束,并在nnls估算时进行评估。

认为这样,实际上应该与我mle2上面使用的形式完全相同:

XM=as.matrix(bM)[,nonzero,drop=FALSE] # design matrix
posbetas = a_nnls[nonzero] # nonzero nnls coefficients
dispersion=sum(residuals^2)/(n-p) # estimated dispersion (variance in case of gaussian noise) (1 if noise were poisson or binomial)
information_matrix = t(XM) %*% XM # observed Fisher information matrix for nonzero coefs, ie negative of the 2nd derivative (Hessian) of the log likelihood at param estimates
scaled_information_matrix = (t(XM) %*% XM)*(1/dispersion) # information matrix scaled by 1/dispersion
# let's now calculate this scaled information matrix on a log transformed Y scale (cf. stat.psu.edu/~sesa/stat504/Lecture/lec2part2.pdf, slide 20 eqn 8 & Table 1) to take into account the nonnegativity constraints on the parameters
scaled_information_matrix_logscale = scaled_information_matrix/((1/posbetas)^2) # scaled information_matrix on transformed log scale=scaled information matrix/(PHI'(betas)^2) if PHI(beta)=log(beta)
vcov_logscale = solve(scaled_information_matrix_logscale) # scaled variance-covariance matrix of coefs on log scale ie of log(posbetas) # PS maybe figure out how to do this in better way using chol2inv & QR decomposition - in R unscaled covariance matrix is calculated as chol2inv(qr(XW_glm)$qr)
SEs_logscale = sqrt(diag(vcov_logscale)) # SEs of coefs on log scale ie of log(posbetas)
posbetas_LOWER95CL = exp(log(posbetas) - 1.96*SEs_logscale)
posbetas_UPPER95CL = exp(log(posbetas) + 1.96*SEs_logscale)
data.frame("2.5 %"=posbetas_LOWER95CL,"97.5 %"=posbetas_UPPER95CL,check.names=F)
#            2.5 %        97.5 %
# 1   1.095874e+00  8.563185e+03
# 2   2.325947e+01  1.743600e+03
# 3   1.959691e+00  4.243037e+02
# 4   8.397159e-20  5.675087e+21
# 5   2.861885e-09  8.210098e+11
# 6   4.036017e-01  1.953882e+05
# 7   9.325838e-13  3.711894e+15
# 8   6.306894e-16  3.028796e+18
# 9   2.652467e+01  1.090340e+04
# 10 1.870702e-189 6.334074e+189
# 11  8.932335e-46  2.349347e+47
# 12  2.824872e+01  2.338145e+03
# 13  4.568282e-06  3.342714e+10
# 14  4.210592e-71  1.235182e+74
# 15  7.380152e-17  2.160863e+20
# 16  1.268778e+02  1.608639e+03
# 17  4.626207e-03  8.470228e+05
# 18  6.806543e-01  1.021640e+03
# 19  3.507709e-01  2.255786e+04
# 20  2.198287e+00  6.656441e+03
# 21  1.622270e+01  1.741421e+02
# 22  1.853214e+02  3.167018e+02
# 23  1.393520e+01  9.302273e+03
# 24  7.906871e+01  5.486398e+03
# 25  2.542730e+01  3.164851e+04
# 26  6.787667e-05  7.737904e+08
# 27 4.249153e-199 4.907886e+199
# 28  5.935583e-03  4.237476e+06
z_logscale = log(posbetas)/SEs_logscale # z values for log(coefs) being greater than 0, ie coefs being > 1 (since log(1) = 0) 
pvals = pnorm(z_logscale, lower.tail=FALSE) # one-sided p values for log(coefs) being greater than 0, ie coefs being > 1 (since log(1) = 0)
pvals.adj = p.adjust(pvals, method="fdr") # FDR corrected p values

plot(x, y, type="l", main="Ground truth (red), nnls estimates (blue & green, green=FDR Wald p value<0.05)", ylab="Signal (black) & peaks (red & blue)", xlab="Time", ylim=c(-max(y),max(y)))
lines(x,-y)
lines(a, type="h", col="red", lwd=2)
lines(-a_nnls, type="h", col="blue", lwd=2)
lines(x[nonzero][pvals.adj<0.05], -a_nnls[nonzero][pvals.adj<0.05], 
      type="h", col="green", lwd=2)
sum((pvals<0.05)&(posbetas>1)) # 14 peaks significantly higher than 1 before FDR correction
sum((pvals.adj<0.05)&(posbetas>1)) # 11 peaks significantly higher than 1 after FDR correction

在此处输入图片说明

这些计算的结果与返回的mle2结果几乎相同(但速度更快),所以我认为这是正确的,并且将与我们隐式进行的操作相对应mle2...

nnls使用正线性模型拟合btw 用正系数重新拟合协变量是行不通的,因为这样的线性模型拟合不会考虑非负约束,因此会导致无意义的置信区间可能变为负数。Jason Lee和Jonathan Taylor的论文“边缘筛选的精确模型选择推论”还提出了一种对非负nnls(或LASSO)系数进行模型选择推论的方法,并使用了截断的高斯分布。我还没有看到针对nnls fits的这种方法的任何公开可用的实现-对于LASSO fits,有selectiveInference做类似的事情的包。如果有人碰巧有一个实现,请告诉我!

在上述方法中,还可以将数据拆分为训练和验证集(例如,奇数和偶数观测值),并从训练集中以正系数推断协变量,然后从验证集计算置信区间和p值。虽然由于只使用一半的数据,但也会造成功率损耗,因此可以防止过度拟合。我之所以没有这样做,是因为非负约束本身在防止过度拟合方面已经非常有效。


您的示例中的系数应该有很大的误差,因为任何尖峰都可以移动1点而不会太大地影响可能性,还是我错过了一些东西?这会将任何系数更改为0,并将相邻的0更改为大值...
变形虫

对,那是正确的。但是,如果添加额外的l0或l1惩罚以支持稀疏解决方案,情况会变得更好。我正在使用通过自适应岭算法拟合的10个惩罚性nnls模型,该模型给出了非常稀疏的解决方案。在我的情况下,通过进行单项删除而不是
用掉

1
我只是不明白如何获得具有大z值的东西……
变形虫

非负性约束当然在很大程度上有助于我们进行选择后推断,
即将

哦,我不明白那是选择后的推论!
变形虫

1

要详细说明@Martijn所涉及的蒙特卡洛方法,可以使用Bootstrap,这是一种重采样方法,涉及从原始数据中采样(替换后)采样多个数据集,以估计估计系数的分布,从而估算任何相关统计量,包括置信区间和p值。

此处详细介绍了广泛使用的方法:Efron,Bradley。“引导程序方法:再看一下折刀。” 统计方面的突破。斯普林格,纽约,纽约,1992。569-593。

Matlab已实现,请参见https://www.mathworks.com/help/stats/bootstrp.html,尤其是标题为“引导模型回归模型”的部分。


1
在错误不是高斯分布的特殊情况下,引导程序将很有用。这可能会在参数受约束的许多问题中发生(例如,因变量也可能受到约束,这与高斯分布误差相冲突),但必须始终如此。例如:如果您在溶液中混合了多种化学药品(严格按照正量的添加成分建模),并且您测量了溶液的几种特性,那么测量误差可能是高斯分布的,可以对其进行参数化和估算,您可以不需要引导。
Sextus Empiricus
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.