现实生活中“非参数统计模型”的例子是什么？

12

我在这里阅读有关统计模型的Wikipedia文章，并且对“非参数统计模型”的含义有些困惑，尤其是：

如果参数集是无限维，则统计模型是非参数模型。如果统计模型同时具有有限维和无限维参数，则它是半参数的。形式上，如果是的维数，并且是样本数，则半参数模型和非参数模型都将设为。如果为，则模型是半参数的；否则，模型是非参数的。 $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

我得到的是，如果模型的维（即我的意思是参数的数量）是有限的，那么这就是参数化模型。

对我而言，没有意义的是如何拥有一个统计模型，该模型具有无限数量的参数，因此我们可以称其为“非参数”。此外，即使是这种情况，如果实际上有无数个维数，为什么还要“非”数呢？最后，由于我是从机器学习的背景出发的，所以这种“非参数统计模型”与“非参数机器学习模型”之间有什么区别吗？最后，这种“非参数无限维模型”的一些具体例子是什么？

nonparametric model

— Creatron
source

3

使用另一个Wiki页面（en.wikipedia.org/wiki/…）：'非参数模型与参数模型不同，因为模型结构不是先验指定的，而是由数据确定的。术语“非参数”并不意味着这些模型完全没有参数，而是参数的数量和性质是灵活的，并且事先没有固定。因此，非参数化不是具有无限数量的参数，而是具有未知数量的参数。

— Riff

我有个疑问。在非参数模型中，我们确实先验地定义了模型的结构。例如，在决策树（这是一个非参数模型）中，我们定义max_depth。那您怎么能说这个参数确实是从数据本身学习/确定的，而不是我们预先确定的呢？

— Amarpreet Singh，

5

正如Johnnyboycurtis回答的那样，非参数方法是指那些不对总体分布或样本规模进行任何假设的模型。

k-NN模型是非参数模型的一个示例，因为它不考虑开发模型的任何假设。朴素贝叶斯（Naive Bayes）或K均值（K-means）是参数化的示例，因为它假设用于创建模型的分布。

例如，K-means假设以下条件可开发模型。所有聚类都是球形的（iid高斯型）。所有轴具有相同的分布，因此具有方差。所有群集大小均等。

至于k-NN，它使用完整的训练集进行预测。它从测试点计算最近的邻居以进行预测。它假定没有用于创建模型的分布。

有关更多信息：

— 普拉珊斯
source

您可以对此进行扩展吗？为什么KNN是非参数的示例，为什么K-means可能是非参数的示例？我关注的是这些细节，尤其是非参数方法的示例，以及为什么 / 如何对人口分布没有假设。谢谢！

— Creatron '16

@Creatron我修改了答案以获取更多解释。

— prashanth

3

因此，我认为您遗漏了几点。首先，最重要的是

如果不对总体分布或样本量进行任何假设，则统计方法称为非参数方法。

这是有关一些非参数模型的简单（应用）教程：http ://www.r-tutor.com/elementary-statistics/non-parametric-methods

研究人员可能决定使用非参数模型与参数模型，即非参数回归与线性回归，是因为数据违反了参数模型所持有的假设。由于您来自ML背景，因此我假设您从未学习过典型的线性回归模型假设。这是参考：https : //statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

违反假设会歪曲您的参数估计值，并最终增加无效结论的风险。非参数模型对异常值，非线性关系更健壮，并且不依赖于许多总体分布假设，因此在进行推论或预测时可以提供更多值得信赖的结果。

有关非参数回归的快速教程，我建议您使用以下幻灯片：http : //socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— 乔恩
source

感谢您提供的链接，我将介绍它们。但是，有一件事是，我们应该如何将其与构成“非参数”模型的“无数个参数”结合起来？谢谢

— Creatron '16

没有引用“无限数量的参数”，因此我无法评论。我从未见过对非参数统计模型主题的引用，因此在提供答案/解释之前，需要先阅读参考。现在，我会担心特定模型相对于整个领域的假设。

— 2016年

在我的问题中引用的维基百科文章涉及无限维度。从字面上看：“如果参数集是无限维的，则统计模型是非参数的。” 这是什么意思？这就是我所指的。

— Creatron '16

我知道。但是维基百科没有提供该陈述的引用。没有参考就无法信任。

— 2016年

3

我目前正在上一门机器学习课程，其中我们使用以下非参数模型的定义：“非参数模型的复杂性随数据的大小而增长”。

参数模型

要了解它的含义，让我们看一下参数模型的线性回归：我们尝试预测在参数化的函数：的维数与数量无关观测值或数据大小。 $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

非参数模型

相反，内核回归尝试预测以下函数：其中我们有数据点，是权重，是内核函数。这里参数的数量是依赖于的数据点的数量。

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

对于内核化的感知器也是如此：

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

让我们回到您的定义，并说d是的数量。如果我们让然后。这正是Wikipedia定义所要求的。 $\alpha_i$ $n \to \infty$ $d \to \infty$

我从演讲幻灯片中提取了内核回归函数，并从维基百科中获取了内核感知器函数：https ://en.wikipedia.org/wiki/Kernel_method

— sop_se
source