求蒙特卡罗模拟估计的精度


12

背景

我正在设计一个结合了一系列模型输出的蒙特卡洛模拟,并且我想确保该模拟将使我能够对模拟结果的概率和该概率估计的精度提出合理的要求。

模拟将发现从特定社区招募的陪审团将某被告定罪的可能性。这些是模拟步骤:

  1. 使用现有数据,通过对人口预测变量上的“初选投票”进行回归,生成逻辑概率模型(M)。

  2. 使用蒙特卡洛方法模拟M的 1,000个版本(即,模型参数的系数的1000个版本)。

  3. 选择模型的1,000个版本之一(M i)。

  4. Empanel 1,000陪审团通过从具有特定人口特征分布的个人“社区”(C)中随机选择1,000组12个“陪审员”来进行。

  5. 使用M i确定性地计算每个陪审员第一次有罪表决的概率。

  6. 将每个“陪审员”的可能的票数投给确定票(根据票数是大于还是小于0-1之间的随机选择值)。

  7. 通过使用陪审团定罪的概率模型(从经验数据得出)来确定每个“陪审团”的“最终投票”,条件是陪审员在第一次投票中对定罪投票的比例。

  8. 存储有1000个陪审团(PG i)的有罪判决的比例。

  9. M的1,000个模拟版本中的每一个重复步骤3-8 。

  10. 计算PG的平均值,并将其报告为C中定罪概率的点估计  。

  11. 确定PG的2.5和97.5个百分位数,并将其报告为0.95置信区间。

我目前正在使用1,000名陪审员和1,000名陪审员的理论,即从概率分布(CM版本的人口统计特征)中抽取1000次随机抽奖将填补该分布。

问题

这将使我能够准确地确定估计的精度吗?如果是这样,我需要为每个PG i计算覆盖几个陪审团,以涵盖C的概率分布(因此避免了选择偏差);我可以使用少于1000个吗?

非常感谢您的帮助!


只是出于好奇:此模型中的任何条件都取决于被告是否确实有罪吗?
whuber

该模型基于对单个事实模式的调查响应,因此实际内感不会改变。我预计在一个有争议的案件中将产生不同的陪审团。
Maggie

好吧,开个玩笑,您报告三个估计值:平均值以及PG的2.5和97.5个百分点。您需要针对哪个或哪些人进行“准确”的确定,以及它必须有多准确?
ub

而且,步骤(6)是神秘的。您能解释一下它打算做什么吗?每个陪审员(5),每个陪审员(4),每个模型(3)或它们的某种组合是否有不同的“随机选择值”?
whuber

1
(请参阅上面的评论)我认为我可以减少(a)陪审团的数量。采样误差是采样数的函数。每个模型有1000个评审团,我总共有100万个样本。与10 ^ 6个样本相关的采样误差为〜0.1%。如果每个模型仅使用35个评审团,则将有3.5 * 10 ^ 4个样本,并且有约0.5%的采样误差。这个采样误差比我的〜5.0%的测量误差小得多。因此,每个模型我应该能够使用35个陪审团,并且仅使用测量误差来估计我的置信区间即可。
Maggie

Answers:


4

对于蒙特卡洛-收敛性,有一个通用且“通用”的标准。

坚持一个M并检查PG在陪审团数量上的表现-它应该收敛,因此将向您显示许多重复,对于您的应用,您将获得合理的有效数字位数。对其他几位Ms重复此基准测试,以确保您对M选择不满意,然后进行整个模拟。


1
不确定有人已经完全回答问题了。它包括两个部分:(1)所描述的建模策略是否可以为她要解决的问题提供合理的解决方案-即,从具有特定人口统计学特征的社区C随机抽取的陪审团投票表决的可能性是多少?被告有罪吗?并且(2)如果建模策略合理,则她必须选择多少个“陪审团”,并且必须为每个人模拟多少个“判决”,以报告对定罪概率和0.95 CI的合理估计?她想节省计算。查看她的最新评论
dmk38 2011年

0

在我看来,这里的问题是该模型是否过于复杂而无法在不使用蒙特卡洛模拟的情况下进行观察。

如果模型相对简单,那么应该可以通过常规统计数据对其进行查看并得出所要解决的问题的解决方案,而无需多次重新运行模型。这有点过于简单,但是如果您所做的所有模型都是基于正态分布产生点,那么您可以轻松地得出所需的答案。当然,如果模型是如此简单,那么您就不必进行蒙特卡洛模拟来找到答案。

如果问题很复杂并且无法将其分解为更基本的模型,则使用蒙特卡洛模型是正确的类型,但是我认为如果不运行模型就无法定义任何置信度极限。最终,要获得描述的模型的置信度限制的类型,必须运行多次,概率分布必须与输出相适应,然后才能定义置信度限制。蒙特卡洛模拟的挑战之一是,模型可以为中范围的分布提供良好且规则的答案,但尾部通常会提供更多可变的结果,这最终意味着需要进行更多次运行才能将输出形状定义为2.5%和97.5%的百分位数。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.