PyMC中两个正态分布的拟合模型

由于我是一名试图学习更多统计信息的软件工程师，因此我什至在开始之前就必须原谅我，所以这是一个严重的问题。

我一直在学习PyMC，并通过一些（非常）简单的示例进行研究。我无法使用（并且无法找到任何相关示例）的一个问题是将模型拟合到由两个正态分布生成的数据。

假设我有1000个值；从a生成Normal(mean=100, stddev=20)500个，从a生成另一个500个Normal(mean=200, stddev=20)。

如果我想对它们拟合模型，即使用PyMC确定两个均值和单个标准差。我知道这有点像...

mean1 = Uniform('mean1', lower=0.0, upper=200.0)
mean2 = Uniform('mean2', lower=0.0, upper=200.0)
precision = Gamma('precision', alpha=0.1, beta=0.1)

data = read_data_from_file_or_whatever()

@deterministic(plot=False)
def mean(m1=mean1, m2=mean2):
    # but what goes here?

process = Normal('process', mu=mean, tau=precision, value=data, observed=True)

也就是说，生成过程是正常的，但是mu是两个值之一。我只是不知道如何表示值来自m1还是之间的“决定” m2。

也许我只是完全采用了错误的方法来对此建模？谁能给我指出一个例子？我可以读BUGS和JAGS，所以真的没事。

您是否绝对确定其中一半来自一个发行版，另一半来自另一个发行版？如果不是，我们可以将比例建模为随机变量（这是非常贝叶斯的事情）。

以下是我会做的事情，其中​​嵌入了一些技巧。

from pymc import *

size = 10
p = Uniform( "p", 0 , 1) #this is the fraction that come from mean1 vs mean2

ber = Bernoulli( "ber", p = p, size = size) # produces 1 with proportion p.

precision = Gamma('precision', alpha=0.1, beta=0.1)

mean1 = Normal( "mean1", 0, 0.001 ) #better to use normals versus Uniforms (unless you are certain the value is  truncated at 0 and 200 
mean2 = Normal( "mean2", 0, 0.001 )

@deterministic
def mean( ber = ber, mean1 = mean1, mean2 = mean2):
    return ber*mean1 + (1-ber)*mean2


#generate some artificial data   
v = np.random.randint( 0, 2, size)
data = v*(10+ np.random.randn(size) ) + (1-v)*(-10 + np.random.randn(size ) )


obs = Normal( "obs", mean, precision, value = data, observed = True)

model = Model( {"p":p, "precision": precision, "mean1": mean1, "mean2":mean2, "obs":obs} )

与以上讨论有关的几点：

1. 除非是（a）您担心共轭，否则您将使用法线，或者（b）有合理的机会将真实值排除在制服的端点之外，是选择弥散法线还是制服是很学术的。有了PyMC，除非您特别想使用Gibbs采样器，否则没有理由担心共轭。

2. 对于在方差/精度参数之前没有信息的情况，伽马实际上不是一个好选择。您可能最终会获得更多信息。更好的选择是在标准偏差上放一个均匀的先验，然后用平方反比对其进行变换。有关详细信息，请参见Gelman 2006。