多重删失数据的协方差矩阵的无偏估计

环境样品的化学分析通常低于报告限值或各种检测/定量限值。后者通常可以与其他变量的值成比例地变化。例如，可能需要稀释一种化合物的高浓度样品进行分析，从而导致该样品中同时分析的所有其他化合物的检测限按比例膨胀。再举一个例子，有时化合物的存在会改变测试对其他化合物的响应（“基质干扰”）。当实验室检测到这种情况时，它将相应地提高其报告限值。

我正在寻找一种实用的方法来估算此类数据集的整个方差-协方差矩阵，尤其是当许多化合物经历了超过50％的检查时，这种情况经常发生。传统的分布模型是（真实）浓度的对数呈多态正态分布，这在实践中似乎很合适，因此针对这种情况的解决方案将很有用。

（“实用”是指一种方法，该方法可以在至少一个普遍可用的软件环境（例如R，Python，SAS等）中可靠地进行编码，并且其执行速度足以支持迭代的重新计算（例如多次插补），且这种情况相当稳定[这就是为什么我不愿探索BUGS实现的原因，尽管通常欢迎使用贝叶斯解决方案]。

预先非常感谢您对此事的想法。

我还没有完全内化矩阵干扰的问题，但这是一种方法。让：

是代表未稀释样品中所有目标化合物浓度的向量。$Y$

是稀释样品中的相应载体。$Z$

为稀释因子，即样品被 d 1：1稀释。$d$$d$

我们的模型是：

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

其中表示误差由于稀释误差。$\epsilon \sim N(0,\sigma^2\ I)$

因此，它遵循：

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

$Z$$f_Z(.)$

$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

哪里

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

估计则是使用最大似然或贝叶斯思想的问题。我不确定上述内容是否易于理解，但我希望它能给您一些想法。

另一种计算效率更高的选择是使用称为“二分高斯”的模型（实际上只是一个高斯copula模型）通过矩匹配来拟合协方差矩阵。

Macke等人2010年的最新论文描述了一种适合该模型的封闭式程序，该程序仅涉及（经审查）经验协方差矩阵和一些双变量正态概率的计算。同一小组（MPI Tuebingen的Bethge实验室）也描述了混合离散/连续高斯模型，这可能是您在这里想要的（即，由于高斯RV未完全“二分”，而是仅低于阈值）。

至关重要的是，这不是 ML估计器，而且恐怕我不知道它的偏差属性是什么。

您的样品中有多少种化合物？（或者，所讨论的协方差矩阵有多大？）。

Alan Genz在各种语言（R，Matlab，Fortran；请参阅此处）中都有一些非常不错的代码，用于计算超矩形上的多元法线密度的积分（即，评估似然性所需的各种积分，如所述）用户28）。

我已经使用了这些函数（“ ADAPT”和“ QSIMVN”）进行了大约10至12维的积分，并且该页面上的一些函数发布了积分（以及您可能需要的相关派生函数）以解决100维以下的问题。不知道这是否足够满足您的需求，但是如果可以，可能可以让您通过梯度上升来找到最大似然估计。