我有一些预测模型，我想对其性能进行回测（即，获取我的数据集，将其“倒带”到上一个时间点，并查看该模型的预期性能）。
问题是我的某些模型是通过交互过程构建的。例如，按照弗兰克·哈雷尔（Frank Harrell）的回归建模策略中的建议，在一个模型中，我使用了受限制的三次样条来处理特征与响应之间可能的非线性关联。我根据领域知识和关联强度的单变量度量来分配每个样条的自由度。但是，我要允许模型的自由度显然取决于数据集的大小，在进行回测时，数据集的变化很大。如果我不想在每次对模型进行回测时都分别手动选择自由度，那么我还有其他选择吗？
再例如，我目前正在通过发现具有高杠杆作用的点来进行离群值检测。如果我愿意手工进行此操作，则只需查看每个高杠杆数据点，仔细检查数据是否干净，然后过滤掉或手工清理。但这依赖于很多领域知识，因此我不知道如何使过程自动化。
我将不胜感激建议和解决方案，无论是（a）解决模型构建过程中交互部分自动化的一般问题，还是（b）针对这两种情况的具体建议。谢谢！
Answers:
仅供参考，这可能更适合SE.DataScience，但是暂时，我将在这里回答。
在我看来，您可能处在只能选择编写实现您的解决方案的脚本的情况下。从来没有使用过花键，我对花键的了解完全是理论上的，所以请多多包涵，让我知道我有没有看到的东西。
从广义上讲，您似乎需要解决几个不同的问题才能实现此目的。
1.）以动态方式确定模型参数。您之前已经提到过，您已经结合使用领域知识和单变量测度。在我看来，这似乎是您应该能够启发式处理的东西。您必须在开始时就程序要实施的一组规则达成一致。这可能不是一件微不足道的任务，因为您将不得不认真思考这些规则的潜在含义。这可能需要您重新访问过程的每个步骤，并不仅对决策进行分类，而且还要对这些决策背后的原因进行分类。
2.）实际执行您的程序。为了使您的性能测试适当动态，并易于维护和修改，您将必须考虑如何构建它。您可能希望对主模型的预测性能估算使用某种形式的循环，最好采用用户定义的长度，以便将来具有更大的灵活性。您可能还想为程序要执行的每个动作编写单独的函数，因为这样可以更轻松地测试功能，以及以后维护和修改程序。您至少需要可能的功能来选择数据集（即，仅在回测时已经“过去”的时间段），清理和验证（您必须真正考虑的功能），
您关于异常值检测和处理的问题也属于这两个问题，我将通过在主程序循环中编写较小的循环来实现，该循环将继续“清理”并重新调整模型，直到达到您满意的程度为止它（再次，您必须定义自己）。
如果这听起来像是一项艰巨的任务，那是因为它确实如此。人们已经编写了整个软件库（有时非常有利可图），以执行此类任务。除此之外，如果不进一步了解您的过程，数据结构和到目前为止完成的编程语言，就很难提供任何更具体的建议。
如果有任何一项对您有用，并且您希望我进行任何扩充，请发表评论，让我知道，我会很乐意这样做。
与其尝试找出如何使手动模型调整工作自动化的方法，不如通过研究需要较少调整的低方差学习者来共同解决这个问题，即使这样做会以增加模型偏差为代价。您希望对自己的回测结果充满信心，这很大程度上归因于您预测中的样本方差低，并在已经具有样本方差本身的学习者的基础上引入一些自动调整过程，从而不利于该目标。似乎尾巴在这里摇晃着狗，但是任何需要大量仔细调整（手动或自动）的东西都不是真正诚实的回测环境IMO的理想选择。