使用scikit-learn进行多项式回归

我正在尝试使用scikit-learn进行多项式回归。从我的理解中，多项式回归是线性回归的特例。我希望可以对scikit的广义线性模型之一进行参数化以适合高阶多项式，但是我认为没有选择的余地。

我确实设法使用了支持向量回归器和多核。这对我的数据子集效果很好，但是要适应较大的数据集需要花费很长时间，因此我仍然需要更快地找到某些东西（即使以某种精度进行交易）。

我在这里错过明显的东西吗？

给定数据（列向量）和y（目标向量），您可以通过附加x的多项式来执行多项式回归。例如，考虑是否$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

在线性回归中仅使用此向量意味着模型：

$$y = \alpha_1 x$$

我们可以添加作为上述向量的幂的列，这些列表示将多项式添加到回归中。下面我们展示了高达3的多项式的多项式：

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

这是我们在sklearn的线性回归中使用的新数据矩阵，它表示模型：

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

请注意，我没有添加的常数向量的，因为sklearn会自动包含这一点。$1$

理论

多项式回归是线性回归的一种特殊情况。关于如何选择功能的主要思想。查看具有2个变量的多元回归：x1和x2。线性回归将如下所示：y = a1 * x1 + a2 * x2.

现在您要进行多项式回归（让我们做2度多项式）。我们将创造一些额外的功能：x1*x2，x1^2和x2^2。因此，我们将得到您的“线性回归”：

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

这很好地显示了维数的一个重要概念诅咒，因为随着多项式次数的增加，新特征的数量增长快于线性增长。您可以在这里了解这个概念。

练习scikit-learn

您无需在scikit中完成所有这些操作。那里已经可以使用多项式回归（在0.15版本中。请在此处查看如何更新）。

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$）是我正在谈论的那个。