决策树桩是线性模型吗？

决策树桩是只有一个拆分的决策树。也可以将其编写为分段函数。

例如，假设是一个矢量，并且是第一部件，在回归设置，某些决策残端可以是 $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

但这是线性模型吗？其中可以写成？这个问题听起来可能很奇怪，因为如答案和注释中所述，如果我们绘制分段函数，它就不是一条线。请参阅下一部分，以了解为什么我要问这个问题。 $f(x)=\beta^T x$

编辑：

我问这个问题的原因是逻辑回归是一个（广义的）线性模型，决策边界是一条线，也适用于决策树桩。注意，我们还有一个问题：为什么逻辑回归是线性模型？。另一方面，决策树桩似乎不是线性模型。

我问这个问题的另一个原因是因为这个问题：在提升时，如果基础学习者是线性模型，那么最终模型是否只是简单的线性模型？在这里，如果我们使用线性模型作为基础学习者，那么除了线性回归之外，我们什么都不会得到。但是，如果我们选择基础学习者作为决策树桩，那么我们将获得非常有趣的模型。

这是一个具有2个特征和1个连续响应的回归决策树桩示例。

— 海涛都
source

您为什么认为它是线性的？

— 蒂姆

@ hxd1011对于区分决策边界和决策功能很重要

— shadowtalker

我可以称其为1000阶多项式，其所有从1到1000的阶均等于零。我可以称其为零阶（也称为常数）模型，它可以更简洁地传达关键特征。经典树是分段常数。琐碎的树是一个树桩，是空间中的单个拆分，其中一侧的模型是常数，而另一侧的模型是不同的常数。它不是全局常量，但也不是poly1。R中的“立方体”库适合实际的线性（poly1）模型，而不是常量模型。您可以尝试一下。

— EngrStudent-恢复莫妮卡

如果在平面上画一条线（例如y = 0）并采用任何函数

，则

将具有与实际线相同的轮廓线（与

轴平行）），但它不是线性函数。

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— 马修·德鲁里

这是一个奇怪的问题。您能否从示例中绘制函数（对于x <2等于3，对于x> 2等于5）？看看-它是一条直线吗？如果不是直线，则不是线性函数。

— 变形虫说恢复莫妮卡

Answers:

不，除非您转换数据。

如果使用指标函数变换，则它是线性模型： $x$

X^{'} = 一世 （ {X > 2} ） = {\begin{cases} \begin{aligned} 0 & X \leq 2 \\ 1个 & X > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

那么 $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

编辑：这是在评论中提到的，但我也想在这里强调一下。可以将数据分为两部分的任何函数都可以转换为这种形式的线性模型，具有截距和单个输入（指示数据点位于分区的哪一侧的一侧）。重要的是要注意决策函数和决策边界之间的差异。

— 暗语者
source

“改造”是棘手的，我觉得神经网络（MLP）是非线性的，但改造后，它是线性..

— 杜海涛

它是参数中的线性模型。并且在虚拟

是仿射线性

。

x^{'}

$x'$

— Michael M

@MichaelM参数如何线性？我的“参数”假设你的意思的选择

x \leq 2

$x \leq 2$

— shadowtalker

@ hxd1011答案是“否，除非您转换数据”

— shadowtalker

我建议您编辑答案以包括“否，除非您转换数据”（来自最后的评论）。当前，您的开场白是“这是线性模型”，人们可能会感到困惑。

— 变形虫说恢复莫妮卡

您的问题的答案：

决策树桩不是线性模型。
即使模型不是线性的，决策边界也可以是一条线。Logistic回归就是一个例子。
增强模型不必与基础学习者相同。如果您考虑一下，您的提振示例以及您所链接的问题证明了决策树桩不是线性模型。

— 比目鱼
source

该答案比仅回答问题所需要的更为冗长。我希望引起真正专家的评论。

我曾经在法庭上，法官问过（出于适当的理由），如果我们称狗的尾巴为一条腿，那是否意味着一条狗有5条腿？那么什么是线性模型？

在统计方面，专家告诉我，线性模型是指由一组的函数的统计模型。 $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ 重要的约束条件是误差项是独立的并且是正态分布的。有了这个定义，就不能说您的模型是线性的，因为您没有提供有关误差项的信息。如果放弃误差项约束，那么它在您提供的函数或ssdecontrol提供的函数中在逻辑上是线性的。然而，在这个问题的背景下，天真的想法可能并不令人满意。从这个意义上讲，任何函数都可以视为线性的基础。这是因为任何功能空间都可以转换为功能向量空间。

$\beta$ $f(x) = \beta^{T} x$

您提供的该类的任何功能都可以满足 $f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— h
source

线性度与误差项无关。它与以下事实有关：它由参数的线性组合组成。这表示2D空间中的一条直线（但通常表示一个平面）。

— shadowtalker '16

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ 。但是该函数将是线性的

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

如果那是他的坚持，那是他的见解，而不是某种困难的事实。据我所知，“线性模型”没有严格的定义，在我心中也不需要。对我而言，存在一个误差项这一事实将模型从“线性模型”转变为“统计线性模型”。我没有看到任何关于她的术语的内在线性，也没有看到关于线性模型的内在统计。

— shadowtalker

国际海事组织坚持认为，存在误差项只是打了折扣，而工程或物理学家可能认为是确定性物理过程的“线性模型”。

— shadowtalker