如何在Python中系统地删除共线变量？[关闭]

到目前为止，我已经通过查看相关表并消除了超过某个阈值的变量，来删除了共线变量作为数据准备过程的一部分。有一种更可接受的方式吗？此外，我知道一次只查看两个变量之间的相关性并不理想，像VIF这样的测量考虑了多个变量之间的潜在相关性。如何系统地选择不表现出多重共线性的变量组合？

我将数据存储在熊猫数据框中，并且正在使用sklearn的模型。

谢谢SpanishBoy-这是一段不错的代码。@ilanman：这将检查VIF值，然后删除VIF大于5的变量。“性能”我认为他表示运行时间。上面的代码花了我大约3个小时来运行大约300个变量，5000行。

顺便说一下，我已经对其进行了修改，以删除一些额外的循环。另外，我使它变得更整洁，并返回带有减少变量的数据框。这个版本将我的运行时间减少了一半！我的代码如下-希望对您有所帮助。

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

您可以尝试使用以下代码：

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

它有效，但我不喜欢这种方法的效果

我尝试了SpanishBoy的答案，并在为数据帧运行它时发现服务器错误。这是一个调试的解决方案。

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

我也没有任何性能问题，但是还没有对其进行广泛的测试。