显示贝叶斯模型平均（BMA）优点的简单示例

我将贝叶斯模型平均（BMA）方法纳入研究，并将很快向同事介绍我的工作。但是，BMA在我的领域并没有那么知名，因此在向他们介绍所有理论之后并将其实际应用于我的问题之前，我想提出一个简单而有启发性的示例，说明BMA为何起作用。

我在考虑一个简单的示例，其中有两个模型可供选择，但是真正的数据生成模型（DGM）介于两者之间，证据并不真正支持其中的任何一个。因此，如果您选择一个并继续进行下去，则将忽略模型不确定性并产生错误，但是BMA尽管真实模型不是模型集的一部分，但至少可以正确给出感兴趣参数的后验密度。例如，每天有两个天气预报（A和B），并且一个人希望最好地预测天气，因此在经典统计中，您首先会尝试找到两者之间的最佳天气预报者，但是如果真相介于两者之间，该怎么办？ （也就是说，有时A是正确的，有时B是正确的）。但是我无法将其形式化。那样的东西，但是我很愿意接受想法。我希望这个问题足够具体！

在文献中，到目前为止，我还没有找到任何很好的例子：

• Kruschke（2011）虽然很好地介绍了贝叶斯统计，但并没有真正关注BMA，而他在第4章中介绍的抛硬币示例对于介绍贝叶斯统计非常有用，但并没有真正说服其他研究人员使用BMA。（“为什么我又有三个模型，一个为什么说硬币是公平的，而另一个说它在任一方向上都有偏见？”）
• 我阅读的所有其他内容（Koop 2003，Koop / Poirier / Tobias（2007），Hoeting等人（1999）以及大量其他文章）都是很好的参考，但是我还没有在其中找到一个简单的玩具示例。

但是也许我只是错过了一个很好的消息来源。

那么，有没有人有介绍BMA的好榜样？也许甚至显示出可能性和后继者，因为我认为这将很有启发性。

我最近做了类似的事情。与其说服别人，不如说是个小项目，让我对BMA有所了解。我要做的是生成一个具有二进制响应，三个对响应有影响的独立变量和七个对响应没有任何影响的变量的数据集。然后，我将BMA结果与logistic回归中的常客估计进行了比较。我认为至少在这种情况下，BMA方法似乎相当不错。如果要使其更易于访问，则始终可以命名变量或其他名称，而不用将它们称为通用和。$X$$y$

下面介绍了我为此使用的R代码。希望它能启发您！

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

一个很好的资源是：
Stefan Zeugner的BMS平均贝叶斯模型（2012）

它使用R-package BMS，可以在这里找到更多信息：http :
//bms.zeugner.eu/

可在此处找到两个动手实践教程，以重现该软件包的真实示例：

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

下面是对贝叶斯方法的更一般的激励和最新介绍：

时机已到：组织科学中的贝叶斯数据分析方法，作者：John K. Kruschke，Herman Aguinis和Harry Joo