Questions tagged «time-complexity»

我正在尝试比较Hastie等人中区分的三组线性回归方法的计算复杂度/估计速度。“统计学习的要素”（第二版），第3章： 子集选择 收缩方式 使用派生输入方向的方法（PCR，PLS） 进行比较可能很粗略，只是为了给出一些想法。我认为答案可能取决于问题的严重程度以及如何适应计算机体系结构，因此举一个具体的例子，可以考虑样本量为500和50个候选回归变量。我最感兴趣的是计算复杂性/估计速度背后的动机，而不是对于给定示例而言，使用某个处理器需要多长时间。

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

采用朴素搜索方法（无kd树或类似树）的k -NN算法的时间复杂度是多少？ 我也考虑到超参数k对其时间复杂度感兴趣。我发现矛盾的答案： O（nd + kn），其中n是训练集的基数，d是每个样本的维数。[1] O（ndk），这里n又是训练集的基数，d是每个样本的维数。[2] [1] http://www.csd.uwo.ca/courses/CS9840a/Lecture2_knn.pdf（第18/20页） [2] http://www.cs.haifa.ac.il/~rita/ml_course/lectures/KNN.pdf（第18/31页）

18 k-nearest-neighbour  time-complexity 

为了评估一种新的分类器算法的性能，我正在尝试比较准确性和复杂性（训练和分类中的big-O）。来自Machine Learning：a review，我得到了完整的监督分类器列表，还有算法之间的准确性表，以及来自UCI数据存储库的 44个测试问题。但是，对于常见的分类器，我找不到带有big-O的评论，论文或网站： C4.5 RIPPER（我认为这不可能，但谁知道） 人工神经网络与反向传播 朴素贝叶斯 神经网络 支持向量机 如果有人对这些分类器有任何表达，它将非常有用，谢谢。

14 machine-learning  classification  multiple-comparisons  algorithms  time-complexity 

随着行数或列数的增长，Lasso回归的渐近时间复杂度是多少？

14 lasso  time-complexity 

如果我有一个设计矩阵，其中Ñ是尺寸的观察次数d，什么是求解的复杂性β = argmin β 1X∈ [Rn × dX∈[Rn×dX\in\mathcal{R}^{n\times d}ññnddd与LASSO，wrtn和d？我认为答案应该是关于一个LASSO迭代如何使用这些参数缩放，而不是迭代次数（收敛）如何缩放，除非您另有感觉。β^=argminβ1个2 n| |Xβ-y| |2+ λ | |β| |1个β^=精氨酸β1个2ñ||Xβ-ÿ||2+λ||β||1个\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nñnddd 我已经阅读了以前的LASSO复杂性问题，但似乎与此处和此处有关glmnet的讨论不一致。我知道那里有很多算法，包括glmnet的GLM方法，但是我正在写一篇有关将LASSO组件替换为父算法的论文，并且希望包括关于LASSO复杂性的讨论，特别是和n。我也想知道在基本的非稀疏情况下glmnet的复杂性，但是由于整个算法的复杂性不是很明确，因此参考文献有些令人困惑。dddnnn

10 optimization  lasso  regularization  time-complexity