如何规范未知分布的数据

我试图找到某种类型的重复测量数据的最合适的特征分布。

本质上，在我所在的地质学领域，我们经常使用放射线测定样品中的矿物（岩石块）的年代，以查明事件发生多久了（岩石冷却到阈值温度以下）。通常，将对每个样本进行几次（3-10）次测量。然后，取平均值和标准偏差。这是地质，因此样品的冷却年龄可以根据情况从扩展到年。σ 10 5 10 $\mu$$\sigma$$10^5$$10^9$

不过，我有理由相信，测量不高斯：“离群”，要么宣布随意，或者通过一些标准，比如皮尔斯的标准[罗斯2003]或狄克逊Q检验[院长和迪克森，1951年]，是相当这很常见（例如30分之一），而且这些数据几乎总是比较旧，这表明这些测量值通常偏向右侧。与矿物杂质有关的原因很容易理解。

因此，如果我能找到一个更好的分布，包括肥尾和偏斜，我认为我们可以构造更有意义的位置和比例参数，而不必如此迅速地分配离群值。也就是说，如果可以证明这些类型的测量是对数正态或对数拉普拉斯等，则可以使用比和更合适的最大似然性度量，它们是非稳健的，在这种情况下可能会有偏差系统右偏的数据。$\mu$$\sigma$

我想知道这样做的最好方法是什么。到目前为止，我有一个大约有600个样本的数据库，每个样本有2-10个（或大约）重复测量值。我尝试通过将样本除以均值或中位数来对样本进行归一化，然后查看归一化数据的直方图。这会产生合理的结果，并且似乎表明该数据具有典型的对数拉普拉斯算式：

但是，我不确定这是否是解决问题的适当方法，或者不确定我是否意识到有一些警告可能会影响我的结果，所以它们看起来像这样。是否有人对这种事情有经验并知道最佳实践？

您是否考虑过对每个样本进行（3-10）次测量的平均值？然后，您可以使用结果分布-近似于t分布，近似于大n的正态分布吗？

我认为您不是用归一化来表示通常的含义，例如，通常是将均值和/或方差归一化和/或白化。

我认为您要尝试做的是找到一个非线性重新参数化和/或功能，使您可以在数据上使用线性模型。

这是不平凡的，没有简单的答案。这就是为什么数据科学家会得到很多钱的原因;-)

创建非线性特征的一种相对直接的方法是使用前馈神经网络，其中层的数量以及每层神经元的数量控制网络生成特征的能力。更高的容量=>更多的非线性，更多的过度拟合。较低的容量=>更大的线性度，更高的偏差，更低的方差。

给您更多控制的另一种方法是使用样条曲线。

最后，您可以手动创建此类功能，我想这就是您要尝试的功能，但是，没有简单的“黑匣子”答案：您需要仔细分析数据，查找模式等。 。

您可以尝试使用属于四参数概率分布的约翰逊（SL，SU，SB，SN）分布族。每个分布表示向正态分布的变换。