在“统计学习的要素”中，我发现以下语句：
有一项条件：可以在不进行样品检测之前进行初始的无监督筛选步骤。例如，在开始交叉验证之前，我们可以在所有50个样本中选择具有最高方差的1000个预测变量。由于此过滤不涉及类标签，因此不会给预测变量带来不公平的优势。
这真的有效吗？我的意思是，通过预先过滤属性，我们不会模仿训练数据/新数据环境-那么，是否对正在执行的过滤没有监督是很重要的吗？在交叉验证过程中实际执行所有预处理步骤是否更好？如果不是这种情况，则意味着可以预先执行所有无监督的预处理，包括功能归一化/ PCA等。但是，通过对整个训练集进行这些操作，实际上是在向训练集泄漏一些数据。我可以同意，相对稳定的数据集，这些差异很可能应该很小-但这并不意味着它们不存在，对吧？思考这个问题的正确方法是什么？
Answers:
作为交叉验证之前的一个阶段，无监督特征选择与特征规范化有些相似：
从交叉验证中的特定倍数的角度来看，火车数据偷看了测试数据（尽管仅在自变量中）。
这种偷窥是相对温和的。
这个问题讨论了交叉验证前的特征归一化。引用Dikran Marsupial的答案
最好将交叉验证视为一种估计统计过程性能的方法，而不是统计模型。因此，为了获得无偏的性能估计，您需要在交叉验证的每个折叠中分别重复该过程的每个元素，其中包括标准化。
因此，如果您可以节省资源，最好的办法是让每个交叉验证折叠都可以从头开始数据相关的处理。
我希望在这个问题上与@AmiTavory的观点以及统计学习的要素有所不同。
我来自一个样本量很小的应用领域，我的经验是，未经监督的预处理步骤也会引入严重的偏差。
在我的领域中，最常见的是在训练分类器之前使用PCA进行降维。尽管我无法在此处显示数据，但我已经看到PCA +（交叉验证的LDA）与交叉验证的（PCA + LDA）低估了大约一个数量级的错误率。（这通常表明PCA不稳定。）
至于“元素”的“不公平优势”论证，如果检查染色+测试用例的差异，我们最终会得到与训练用例和测试用例均适用的功能。因此，我们在此处创建了一个自我实现的预言，这是过分乐观的原因。如果您具有合理的样本量，则此偏差较低。
因此，我建议采用一种比Elements更为保守的方法：
话虽如此，交叉估值也是进行适当验证研究的捷径。因此，您可能会提出实用意见：
您可以检查所讨论的预处理是否产生稳定的结果（例如，可以通过交叉验证来实现）。如果您发现它已经以较低的样本量实现了完美的稳定性，恕我直言，您可能会争辩说，将其从交叉验证中撤出不会带来太大的偏差。
但是，引用一位前主管的话：计算时间不是科学依据。
我经常去进行几次折叠的“潜行预览”和几次迭代以进行交叉验证，以确保所有代码（包括结果的摘要/图形），然后在服务器上放置一整夜或周末，以备不时之需。更细粒度的交叉验证。