Questions tagged «machine-learning»

我知道预培训可避免常规培训中的某些问题。如果我将反向传播与自动编码器一起使用，我知道我会遇到时间问题，因为反向传播的速度很慢，而且我会陷入局部最优状态而无法学习某些功能。 我不了解的是我们如何预训练网络，以及具体如何进行预训练。例如，如果给我们一堆受限的玻尔兹曼机器，我们将如何对该网络进行预训练？

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

如果k等于使用的训练点数，则k最近邻居算法的VC维是多少？ 上下文：在我参加的课程中提出了这个问题，给出的答案为0。但是，我确实不明白为什么会这样。我的直觉是，VC-Dimension应该为1，因为应该可以选择两个模型（即训练点集），以便根据第一个模型，每个点都被标记为属于一个类别，而属于另一个类别根据第二种模型，因此应该有可能粉碎单个点。我的推理错误在哪里？

10 machine-learning  self-study  k-nearest-neighbour  vc-dimension 

只是一个普遍的问题。如果您有时间序列数据，那么什么时候使用时间序列技术（aka，ARCH，GARCH等）优于机器/统计学习技术（KNN，回归）呢？如果交叉验证中存在类似的问题，请向我指出-已查找且找不到。

10 time-series  machine-learning 

假设我的样本量较小，例如N = 100，并且有两个类别。如何为机器学习选择训练，交叉验证和测试集的大小？ 我会直觉地选择 训练集大小为50 交叉验证集大小为25，并且 测试大小为25。 但这可能或多或少都有意义。我应该如何真正确定这些价值？我可以尝试其他选择吗（尽管我认为它不是那么可取……过度学习的可能性增加了）？ 如果我上两节课以上怎么办？

10 machine-learning  sampling  svm  cross-validation  sample-size 

评估主成分分析（PCA）质量的良好指标是什么？ 我在数据集上执行了该算法。我的目标是减少功能数量（信息非常冗余）。我知道保留的方差百分比可以很好地表明我们保留了多少信息，是否可以使用其他信息指标来确保我删除了冗余信息并且没有“丢失”此类信息？

10 machine-learning  pca  data-mining  information-theory 

我目前正在比较三种方法，并且我以Accuracy，auROC和auPR作为指标。我有以下结果： 方法A-acc：0.75，auROC：0.75，auPR：0.45 方法B-acc：0.65，auROC：0.55，auPR：0.40 方法C-acc：0.55，auROC：0.70，auPR：0.65 我对准确性和auROC有很好的理解（要记得很好，我经常想出一个句子，例如“ auROC =很好地表征预测阳性学生的能力”，而并非完全正确的话可以帮助我记住）。我从来没有过auPR数据，而在我了解它是如何构建的时，我无法理解它的背后。 实际上，我无法理解为什么方法C的auPR得分非常高，而准确性和auPR却差/平均。 如果有人能通过简单的解释帮助我更好地理解它，那将是非常不错的。谢谢。

10 machine-learning  roc  precision-recall 

背景信息：我正在开发一个分析临床数据的系统，以过滤掉可能是错别字的难以置信的数据。 到目前为止，我做了什么： 为了量化真实性，到目前为止，我的尝试是对数据进行归一化，然后根据点p与集合D中已知数据点的距离（=训练集合）计算点p的真实性值： plausibility(p)=∑q∈DGauss(distance(p,q))plausibility(p)=∑q∈DGauss(distance(p,q))\text{plausibility}(p)=\sum_{q\in D}\text{Gauss}(\text{distance}(p,q)) 通过这种量化，我可以选择一个阈值，将合理的数据与不可信的数据分开。我正在使用python / numpy。 我的问题： 该算法无法检测独立的维度。理想情况下，我可以将关于记录的所有信息放入算法中，让它自己发现维度X不会影响记录的合理性。 该算法不适用于布尔值或选择输入等离散值。它们可以映射到连续值上，但是与Select 3相比，Select 1与Select 2更接近Select 2是违反直觉的。 题： 我应该为该任务寻找哪种算法？似乎有很多选择，包括基于最近邻居，基于聚类和统计方法。另外，我很难找到有关这种复杂性异常检测的论文。 任何建议都受到高度赞赏。 [编辑]示例： 假设数据由一个人的身高，一个人的体重和时间戳组成-因此它是3D数据。体重和身高是相关的，但时间戳是完全独立的。如果仅考虑欧几里德距离，则必须选择一个小的阈值以适合我的大多数交叉验证数据。理想情况下，该算法将只忽略时间戳记维度，因为确定记录是否合理是无关紧要的，因为时间戳记与任何其他维度都不相关。任何时间戳都是合理的。 另一方面，可以组成一些示例，其中时间戳确实很重要。例如，特征X的值Y在某个日期之前而不是某个日期之后测量时可能是合理的。

10 machine-learning  multivariate-analysis  feature-selection  algorithms  outliers 

我经常听到有关通过提供测试集并在训练集上训练模型来评估分类模型的性能的信息。然后创建2个向量，一个用于预测值，一个用于真实值。显然，进行比较可以使人们使用F-Score，Kappa统计，Precision＆Recall，ROC曲线等工具通过其预测能力来判断模型的性能。 这与评估诸如回归之类的数字预测相比有何不同？我假设您可以在训练集上训练回归模型，使用它来预测值，然后将这些预测值与测试集中的真实值进行比较。显然，性能指标必须有所不同，因为这不是分类任务。通常的残差和统计量是明显的量度，但是是否有更多/更好的方法来评估回归模型的性能？分类似乎有很多选择，但是回归留给和残差。R2R2R^2R2R2R^2

10 regression  machine-learning  model-evaluation 

我是生存分析的新手，我最近了解到，对于特定目标，可以采用不同的方法进行。我对这些方法的实际实现和适当性感兴趣。 向我介绍了传统的Cox比例危害，加速故障时间模型和神经网络（多层感知器），作为根据患者的时间，状态和其他医学数据获得患者生存的方法。据说这项研究将在五年内完成，目标是每年为新的记录给出生存风险。 我发现了两个实例，这些实例是通过Cox PH选择其他方法的： 我发现“ 如何从Cox PH模型获得生存期的预测 ”，并提到： 如果您对获取特定时间点生存概率的估计特别感兴趣，我将向您介绍参数化生存模型（又称为加速故障时间模型）。这些是在R的生存程序包中实现的，将为您提供参数化的生存时间分布，您可以在其中简单地插入您感兴趣的时间并获取生存概率。 我去了推荐的站点，并在survival软件包中找到了一个函数survreg。 在此评论中建议使用神经网络： 神经网络方法进行生存分析的一个优势是它们不依赖于Cox分析基础的假设... 另一个问题是“ 带有目标向量的R神经网络模型，其输出包含生存预测 ”，给出了一种详尽的方法来确定神经网络和Cox PH中的生存。 用于获得生存的R代码如下所示： mymodel <- neuralnet(T1+T2+T3+T4+T5~covar1+covar2+covar3+..., data=mydata, hidden=1) compute(mymodel,data=mydata) 我去了R论坛，并在“ predict.coxph和predict.survreg ” 问题中找到了这个答案： 确实，从的predict()功能中，coxph您不能直接获得“时间”预测，而只能获得线性和指数风险评分。这是因为，为了获得时间，必须计算基准危害，而且它并不直接，因为它在Cox模型中是隐含的。 我想知道这三个（或两个考虑Cox PH的论点）中哪一个最适合获取感兴趣时间段的生存率？我对在生存分析中使用哪一个感到困惑。

10 r  machine-learning  survival  neural-networks  cox-model 

在研究协方差选择时，我曾经阅读以下示例。关于以下模型： 其协方差矩阵和逆协方差矩阵如下： 我不明白为什么和的独立性是由逆协方差决定的？xxxyyy 这种关系背后的数学逻辑是什么？ 同样，下图的左图要求捕获和之间的独立关系；为什么？xxxyyy

10 machine-learning  bayesian  conditional-probability  covariance  graphical-model 

在很多机器学习算法，特征缩放（又名可变缩放，标准化）是一种常见的prepocessing一步维基百科-特征缩放 -这个问题是接近问题＃41704 -如何以及为什么做归一化和特征缩放工作？ 关于决策树，我有两个问题： 是否有任何需要特征缩放的决策树实现？我的印象是，大多数算法的分割标准对规模无动于衷。 请考虑以下变量：（1）单位，（2）小时，（3）每小时-最好是将这三个变量按原样保留在决策树中，否则我们会遇到某种类型的冲突因为“标准化”变量（3）与（1）和（2）有关？也就是说，您是通过将所有三个变量都放入混合中来攻击这种情况，还是通常选择这三个变量的某种组合，或者只是使用“标准化/标准化”功能（3）？

10 machine-learning  feature-selection  cart 

在比较不同情况下的弹性模型（即样条曲线）与非弹性模型（例如线性回归）时，我遇到了一个简单的问题。问题是： 通常，在以下情况下，我们是否希望灵活的统计学习方法的性能比不灵活的方法好或坏？ 预测变量的数量非常大，而观测值的数量小？ ñpppnñn 误差项的方差，即σ2=Var(e)σ2=Var(e)σ^2 = \text{Var}(e)极高吗？ 我认为对于（1），当nñn较小时，不灵活的模型会更好（不确定）。对于（2），我不知道哪个模型（相对）更好。

10 machine-learning  model 

我遇到一种情况，即使经过500次迭代，我的神经网络的权重仍未收敛。我的神经网络包含1个输入层，1个隐藏层和1个输出层。它们在输入层中约为230个节点，在隐藏层中约为9个节点，在输出层中约为1个输出节点。我想知道是否要尽早停止条件（例如，在100次迭代后停止神经网络训练）。这会对模型产生什么影响？ 还想知道如果神经网络中的权重不收敛，行业的工作标准是什么？

10 machine-learning  neural-networks 

我正在处理数据集。使用一些模型识别技术后，我得出了一个ARIMA（0,2,1）模型。 我使用R detectIO包TSA中的函数在对原始数据集进行第48次观察时检测到创新的离群值（IO）。 如何将这个离群值合并到模型中，以便将其用于预测？我不想使用ARIMAX模型，因为我可能无法根据R中的模型做出任何预测。还有其他方法可以做到吗？ 以下是我的价值观： VALUE <- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 9.6 9.8 10.0 9.9 9.9 9.8 9.8 9.9 9.9 9.6 9.4 …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

为了简单的示例，假设有两个线性回归模型 模型1有三个预测，x1a，x2b，和x2c 模型2具有从模型1 3个预测和两个附加的预测x2a和x2b 有一个种群回归方程，其中模型1 解释的种群方差为，模型解释为 。模型2解释的种群中的增量方差为ρ2(1)ρ(1)2\rho^2_{(1)}ρ2(2)ρ(2)2\rho^2_{(2)}Δ ρ2= ρ2（2 ）- ρ2（1 ）Δρ2=ρ(2)2−ρ(1)2\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)} 我有兴趣获取\ Delta \ rho ^ 2的估计量的标准误差和置信区间Δ ρ2Δρ2\Delta\rho^2。虽然该示例分别涉及3个和2个预测变量，但我的研究兴趣涉及大量不同数量的预测变量（例如5个和30个）。我首先想到的是使用 Δ [R2一dĴ= r2一dj （2 ）- - [R2一dĴ （1 ）Δradj2=radj(2)2−radj(1)2\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}作为估计量并进行引导，但是我不确定是否会适当的。 问题 是Δ [R2一dĴΔradj2\Delta r^2_{adj}一个合理的估计Δ ρ2Δρ2\Delta \rho^2？ 如何获得总体r平方变化的置信区间（即Δ ρ2Δρ2\Delta\rho^2）？ 引导Δ ρ2Δρ2\Delta\rho^2是否适合计算置信区间？ 任何对模拟或已发表文献的引用也将受到欢迎。 范例程式码 如果有帮助，我在R中创建了一个小的模拟数据集，可用于演示答案： …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc