Questions tagged «underdetermined»

在两个非重叠人群（患者和健康人群，总计n=60n=60n=60）的数据集中，我想（从300300300独立变量中）找到连续因变量的重要预测因子。存在预测变量之间的相关性。我有兴趣了解是否有任何预测变量与“现实中”的因变量相关（而不是尽可能准确地预测因变量）。当我对众多可能的方法不知所措时，我想问一问最推荐哪种方法。 根据我的理解，不建议逐步加入或排除预测变量 例如，对每个预测变量分别运行线性回归，并使用FDR校正p值以进行多次比较（可能非常保守？） 主成分回归：难以解释，因为我无法讲述单个预测变量的预测能力，而只能讲述成分。 还有其他建议吗？

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

我想使用GLM和Elastic Net来选择那些相关功能+建立一个线性回归模型（即预测和理解，因此最好保留相对较少的参数）。输出是连续的。这是每基因50的情况。我一直在阅读有关该软件包的信息，但是我不确定要执行的步骤：200002000020000505050glmnet 执行CV选择lambda： cv <- cv.glmnet(x,y,alpha=0.5) （Q1）给定输入数据，您会选择其他alpha值吗？ （Q2）在建立模型之前，我还需要做其他事情吗？ 拟合模型： model=glmnet(x,y,type.gaussian="covariance",lambda=cv$lambda.min) （Q3）有什么比“协方差”更好的选择？ （Q4）如果CV选择了lambda，为什么需要此步骤nlambda=？ （Q5）使用lambda.min还是更好lambda.1se？ 获取系数，看看哪些参数掉了（“。”）： predict(model, type="coefficients") 在帮助页面有很多种predict方法（例如predict.fishnet，predict.glmnet，predict.lognet等）。但是，正如我在一个示例中看到的那样，任何“简单”的预测都是如此。 （Q6）我应该用predict或者predict.glmnet还是其他？ 尽管我已经读过有关正则化方法的文章，但我在R和这些统计软件包中还是一个新手，因此很难确定我是否正在使我的问题适应代码。任何建议都将受到欢迎。 更新 基于 “如前所述，类train的对象包含一个称为的元素finalModel，这是具有通过重采样选择的调整参数值的拟合模型。该对象可以按传统方式用于生成新样本的预测，模型的预测功能。” 使用caret调整α和拉姆达： trc = trainControl(method=cv, number=10) fitM = train(x, y, trControl = trC, method="glmnet") 是否fitM取代先前的步骤2？如果是这样，如何立即指定glmnet选项（type.gaussian="naive",lambda=cv$lambda.min/1se）？ 接下来的predict步骤，我可以替换model为fitM吗？ 如果我做 trc = trainControl(method=cv, number=10) fitM = train(x, y, trControl = trC, method="glmnet") …

29 r  regularization  glmnet  elastic-net  underdetermined 

首先：我知道，训练神经网络不需要一般数量的样本。它取决于太多的因素，例如任务的复杂性，数据中的噪音等。而且我拥有的培训样本越多，我的人际网络就会越好。 但是我想知道：如果我假设我的任务足够“简单”，那么在理论上可以用比权重更少的训练样本来训练神经网络吗？有人知道这样做的例子吗？还是该网络几乎肯定会表现不佳？ 例如，如果我考虑多项式回归，则无法仅在4个数据点上拟合4级多项式（即具有5个自由参数）。考虑我的权重数量作为自由参数的数量，神经网络是否有类似的规则？

12 neural-networks  overfitting  underdetermined 

当，对值施加球形限制最小二乘问题可以写成 对于超定系统，。\ | \ cdot \ | _2是向量的欧几里得范数。y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 \ beta的对应解ββ\beta由 β^=(XTX+λI)−1XTy ,β^=(XTX+λI)−1XTy ,\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation} 可以从拉格朗日乘数的方法得出（λλ\lambda是乘数）： L(β,λ)=∥y−Xβ∥22+λ(∥β∥22−δ2)L(β,λ)=‖y−Xβ‖22+λ(‖β‖22−δ2)\begin{equation} \mathcal{L}(\beta,\lambda) = …

9 regression  least-squares  regularization  ridge-regression  underdetermined