一键编码与伪编码的问题

我知道以下事实：具有k个级别的分类变量应使用虚拟编码中的k-1个变量进行编码（与多值分类变量类似）。我想知道针对不同的回归方法，主要是线性回归，惩罚线性回归（Lasso，Ridge，ElasticNet），基于树的（随机森林），单次热编码（即使用k个变量代替）比虚拟编码有多少问题？ ，梯度增强机）。

我知道在线性回归中会出现多重共线性问题（即使实际上我使用OHE拟合线性回归也没有任何问题）。

但是，是否需要在所有编码中都使用伪编码？如果使用一热编码，结果将有多大错误？

我的重点是在具有多个（高基数）分类变量的回归模型中进行预测，因此我对置信区间不感兴趣。

用回归表示具有水平的变量的分类变量的问题是，如果模型也具有常数项，则这些项将线性相关，因此模型将无法识别。例如，如果模型为且，则参数向量的任何选择与。因此，尽管软件可能愿意为您提供这些参数的估计值，但是它们并不是唯一确定的，因此可能不会很有用。$k$$k$$μ = a_0 + a_1X_1 + a_2X_2$$X_2 = 1 - X_1$$(β_0, β_1, β_2)$$(β_0 + β_2,\; β_1 - β_2,\; 0)$

惩罚将使模型可识别，但是鉴于上述情况，冗余编码仍将以怪异的方式影响参数值。

冗余编码对决策树（或树的集合）的影响可能会使相关特征相对于其他特征超重，因为它以额外的冗余变量表示，因此与其他情况相比，其选择频率更高分裂。

Kodiologist有一个很好的答案（+1）。就设计矩阵而言，单热编码与伪编码的编码方法是相同的，并且在不同的基础上。（尽管一键编码有更多列）

因此，如果您只关注准确性而不是可解释性。两种编码方法没有区别。

我觉得最好的回答了这个问题埋在由@MatthewDrury，其中指出，有意见是一个区别，您应该在其他标准化方法使用看似冗余列。@MatthewDrury的推理是

[在正则回归中]，截距不会受到惩罚，因此，如果您推断某个关卡的影响不是该截距的一部分，那么很难说您正在对所有关卡进行同样的惩罚。相反，始终包含所有级别，因此每个级别关于惩罚都是对称的。

我认为他有道理。