使用Pandas Data Frame运行OLS回归


111

我有一个pandas数据框,我希望能够从B和C列中的值预测A列的值。这是一个玩具示例:

import pandas as pd
df = pd.DataFrame({"A": [10,20,30,40,50], 
                   "B": [20, 30, 10, 40, 50], 
                   "C": [32, 234, 23, 23, 42523]})

理想情况下,我会有类似的东西,ols(A ~ B + C, data = df)但是当我查看算法库中的示例时,看起来好像scikit-learn是用行而不是列的列表将数据提供给模型。这将要求我将数据重新格式化为列表内的列表,这似乎首先使使用熊猫的目的遭到了破坏。在熊猫数据框中的数据上运行OLS回归(或更通用的任何机器学习算法)的最有效方法是什么?

Answers:


152

我认为您可以使用statsmodels包几乎完成您认为理想的事情,该包是0.20.0版pandas之前的“可选依赖项pandas”之一(在中有一些用途pandas.stats。)

>>> import pandas as pd
>>> import statsmodels.formula.api as sm
>>> df = pd.DataFrame({"A": [10,20,30,40,50], "B": [20, 30, 10, 40, 50], "C": [32, 234, 23, 23, 42523]})
>>> result = sm.ols(formula="A ~ B + C", data=df).fit()
>>> print(result.params)
Intercept    14.952480
B             0.401182
C             0.000352
dtype: float64
>>> print(result.summary())
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      A   R-squared:                       0.579
Model:                            OLS   Adj. R-squared:                  0.158
Method:                 Least Squares   F-statistic:                     1.375
Date:                Thu, 14 Nov 2013   Prob (F-statistic):              0.421
Time:                        20:04:30   Log-Likelihood:                -18.178
No. Observations:                   5   AIC:                             42.36
Df Residuals:                       2   BIC:                             41.19
Df Model:                           2                                         
==============================================================================
                 coef    std err          t      P>|t|      [95.0% Conf. Int.]
------------------------------------------------------------------------------
Intercept     14.9525     17.764      0.842      0.489       -61.481    91.386
B              0.4012      0.650      0.617      0.600        -2.394     3.197
C              0.0004      0.001      0.650      0.583        -0.002     0.003
==============================================================================
Omnibus:                          nan   Durbin-Watson:                   1.061
Prob(Omnibus):                    nan   Jarque-Bera (JB):                0.498
Skew:                          -0.123   Prob(JB):                        0.780
Kurtosis:                       1.474   Cond. No.                     5.21e+04
==============================================================================

Warnings:
[1] The condition number is large, 5.21e+04. This might indicate that there are
strong multicollinearity or other numerical problems.

2
请注意,正确的关键字是formula,我不小心输入formulas了错误字词,并得到了奇怪的错误:TypeError: from_formula() takes at least 3 arguments (2 given)
denfromufa 2016年

@DSM对python来说是非常新的。尝试运行相同的代码,并且在两个打印消息上均出现错误:print result.summary()^ SyntaxError:语法无效>>> print result.parmas文件“ <stdin>”,第1行打印result.parmas ^ SyntaxError:缺少括号调用“打印” ...也许我加载的软件包错误?当我不放置“打印”时,它似乎可以工作。谢谢。
a.powell

2
@ a.powell OP的代码适用于Python2。我认为您需要做的唯一更改是在要打印的参数周围加上括号:print(result.params)print(result.summary())
Paul Moore

我将不胜感激,如果你可以看看这个,感谢您:stackoverflow.com/questions/44923808/...
德斯塔Haileselassie Hagos

尝试使用此formula()方法会引发类型错误TypeError:__init __()缺少1个必需的位置参数:'endog',所以我认为它已被弃用。ols现在,也是OLS
3pitt

68

注意: pandas.stats 已被 0.20.0 删除


可以使用pandas.stats.ols

>>> from pandas.stats.api import ols
>>> df = pd.DataFrame({"A": [10,20,30,40,50], "B": [20, 30, 10, 40, 50], "C": [32, 234, 23, 23, 42523]})
>>> res = ols(y=df['A'], x=df[['B','C']])
>>> res
-------------------------Summary of Regression Analysis-------------------------

Formula: Y ~ <B> + <C> + <intercept>

Number of Observations:         5
Number of Degrees of Freedom:   3

R-squared:         0.5789
Adj R-squared:     0.1577

Rmse:             14.5108

F-stat (2, 2):     1.3746, p-value:     0.4211

Degrees of Freedom: model 2, resid 2

-----------------------Summary of Estimated Coefficients------------------------
      Variable       Coef    Std Err     t-stat    p-value    CI 2.5%   CI 97.5%
--------------------------------------------------------------------------------
             B     0.4012     0.6497       0.62     0.5999    -0.8723     1.6746
             C     0.0004     0.0005       0.65     0.5826    -0.0007     0.0014
     intercept    14.9525    17.7643       0.84     0.4886   -19.8655    49.7705
---------------------------------End of Summary---------------------------------

请注意,您需要statsmodels安装软件包,该软件包在内部使用pandas.stats.ols


13
请注意,在将来的熊猫版本中将不建议使用此功能!
denfromufa

4
为什么要这样做?我非常希望该功能能够继续存在!它真的非常有用而且快捷!
FaCoffee

2
The pandas.stats.ols module is deprecated and will be removed in a future version. We refer to external packages like statsmodels, see some examples here: http://www.statsmodels.org/stable/regression.html
javadba

2
@DestaHaileselassieHagos。这可能是由于问题missing intercepts。等效R程序包的设计者通过除去均值的调整来进行调整: stats.stackexchange.com/a/36068/64552。。其他建议:you can use sm.add_constant to add an intercept to the exog array并使用字典: reg = ols("y ~ x", data=dict(y=y,x=x)).fit()
javadba

2
这是一个悲伤的日子,当他们删除pandas.stats💔
3kstc

31

我不知道这是否是新的sklearn还是pandas,但我能直接传递数据帧sklearn没有数据帧转换为numpy的阵列或任何其它数据类型。

from sklearn import linear_model

reg = linear_model.LinearRegression()
reg.fit(df[['B', 'C']], df['A'])

>>> reg.coef_
array([  4.01182386e-01,   3.51587361e-04])

2
从OP进行一些细微的转换-但是在追加.values.reshape(-1, 1)到dataframe列后,我发现这个特定的答案非常有用。例如:x_data = df['x_data'].values.reshape(-1, 1)x_data(和类似创建的y_data)np数组传递给.fit()方法。
S3DEV

16

这将要求我将数据重新格式化为列表内的列表,这似乎首先使使用熊猫的目的无法实现。

不,不是,只是转换为NumPy数组:

>>> data = np.asarray(df)

这会花费固定的时间,因为它只会创建数据视图。然后将其提供给scikit-learn:

>>> from sklearn.linear_model import LinearRegression
>>> lr = LinearRegression()
>>> X, y = data[:, 1:], data[:, 0]
>>> lr.fit(X, y)
LinearRegression(copy_X=True, fit_intercept=True, normalize=False)
>>> lr.coef_
array([  4.01182386e-01,   3.51587361e-04])
>>> lr.intercept_
14.952479503953672

3
我必须这样做np.matrix( np.asarray( df ) ),因为sklearn期望有一个垂直向量,而numpy数组一旦将它们从数组上切下来,就像水平矢量一样,这在大多数情况下都是很好的。
cjohnson318 2014年

没有简单的方法可以用此路线进行系数测试,但是
MichaelChirico

2
没有办法直接将Scikit-Learn与Pandas DataFrame配合使用吗?
Femto Trader

对于其他sklearn模块(决策树等),我使用了df ['colname']。values,但这并不起作用。
szeitlin

1
您也可以使用该.values属性。即,reg.fit(df[['B', 'C']].values, df['A'].values)
3novak

6

Statsmodels可使用直接引用熊猫数据框的列引用来构建OLS模型

简短而甜美:

model = sm.OLS(df[y], df[x]).fit()


代码详细信息和回归摘要:

# imports
import pandas as pd
import statsmodels.api as sm
import numpy as np

# data
np.random.seed(123)
df = pd.DataFrame(np.random.randint(0,100,size=(100, 3)), columns=list('ABC'))

# assign dependent and independent / explanatory variables
variables = list(df.columns)
y = 'A'
x = [var for var in variables if var not in y ]

# Ordinary least squares regression
model_Simple = sm.OLS(df[y], df[x]).fit()

# Add a constant term like so:
model = sm.OLS(df[y], sm.add_constant(df[x])).fit()

model.summary()

输出:

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      A   R-squared:                       0.019
Model:                            OLS   Adj. R-squared:                 -0.001
Method:                 Least Squares   F-statistic:                    0.9409
Date:                Thu, 14 Feb 2019   Prob (F-statistic):              0.394
Time:                        08:35:04   Log-Likelihood:                -484.49
No. Observations:                 100   AIC:                             975.0
Df Residuals:                      97   BIC:                             982.8
Df Model:                           2                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const         43.4801      8.809      4.936      0.000      25.996      60.964
B              0.1241      0.105      1.188      0.238      -0.083       0.332
C             -0.0752      0.110     -0.681      0.497      -0.294       0.144
==============================================================================
Omnibus:                       50.990   Durbin-Watson:                   2.013
Prob(Omnibus):                  0.000   Jarque-Bera (JB):                6.905
Skew:                           0.032   Prob(JB):                       0.0317
Kurtosis:                       1.714   Cond. No.                         231.
==============================================================================

如何直接获得R平方,系数和p值:

# commands:
model.params
model.pvalues
model.rsquared

# demo:
In[1]: 
model.params
Out[1]:
const    43.480106
B         0.124130
C        -0.075156
dtype: float64

In[2]: 
model.pvalues
Out[2]: 
const    0.000003
B        0.237924
C        0.497400
dtype: float64

Out[3]:
model.rsquared
Out[2]:
0.0190
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.