Questions tagged «decision-theory»

27
睡美人悖论
情况 一些研究人员想让您入睡。根据公平硬币的秘密抛掷，它们会短暂地唤醒您一次（正面）或两次（尾巴）。每次醒来后，它们都会使您重新入睡，服用一种使您忘记这种唤醒的药物。当您被唤醒时，您应该相信抛硬币的结果在多大程度上是正面？ （好吧，也许您不想成为该实验的对象！假设“睡美人”（SB）同意这一点（当然，在“魔幻王国”机构审查委员会的完全批准下。）她将去睡一百年，那又是一两天呢？ [ Maxfield Parrish插图的细节。] 您是进军还是第三者？ Halfer位置。 简单！硬币是公平的-SB知道-因此她应该相信有一半的正面机会。 第三位置。如果多次重复此实验，则硬币将仅在SB唤醒时间的三分之一时处于正面。她出现正面的概率将是三分之一。 第三者有问题 大多数但不是全部写过这篇文章的人都是第三方。但： 在SB入睡之前的周日晚上，她必须相信正面的机会是一半：这就是成为一枚公平硬币的意义。 每当SB醒来时，她在周日晚上都完全不知道自己不知道的任何事情。 那么，她可以说出什么理性的说法来表明她对头的信仰现在是三分之一而不是二分之一？ 一些尝试的解释 如果SB以1/3以外的赔率下注，那么SB肯定会赔钱。（Vineberg，inter alios） 一半确实是正确的：只需使用Everettian的“许多世界”量子力学解释！（刘易斯） SB基于对世界“时间位置”的自我认知来更新自己的信念。（ELGA，IA） SB感到困惑：“ [似乎更合理的说法是，她醒来时的认知状态不应包括对头部的确定程度的信任。……真正的问题是如何应对已知的，不可避免的认知障碍。” [Arntzenius] 问题 考虑到已经在该主题上写过什么（请参阅参考资料和上一篇文章），如何以统计学上严格的方式解决这个悖论？这有可能吗？ 参考文献 Arntzenius，Frank（2002）。 关于睡美人分析的思考 62.1页53-62。 布拉德利（DJ）（2010）。 在分支世界中的确认：埃弗雷特的解读和睡美人。英国 J.菲尔 科学 0（2010），1-21。 埃尔加·亚当（Elga，Adam）（2000）。自我定位的信念和“睡美人问题”。分析60页143-7。 弗朗西斯·保罗（Franceschi，Paul）（2005）。 睡美人与世界减少问题。预印本。 Groisman，Berry（2007）。 睡美人噩梦的终结。预印本。 刘易斯，D（2001）。 睡美人：回复Elga。分析61.3 pp 171-6。 Papineau，David和Victor Dura-Vila（2008）。 第三者和永恒者：对刘易斯的“量子睡美人”的回应。 Pust，Joel（2008）。 霍根论睡美人。合成160 pp 97-101。 …
7
多少钱？实际问题
这不是家庭作业的问题，而是我们公司面临的实际问题。 最近（两天前），我们向经销商订购了10000个产品标签的制造。经销商是独立的人。他获得了从外部制造的标签，公司付款给经销商。每个标签对公司的成本为1美元。 昨天，经销商附带了标签，但标签捆绑在一起，每包100个标签。这样总共有100个数据包，每个数据包包含100个标签，因此总共有10000个标签。在向经销商支付10000美元之前，我们决定不计几包，以确保每个包中都准确地包含100个标签。当我们计算标签时，我们发现数据包不足100个标签（我们找到了97个标签）。为了确保这不是偶然的，而是有意进行的，我们再计算了5个数据包，并在每个数据包（包括第一个数据包）中找到了以下标签数： Packet Number Number of labels 1 97 2 98 3 96 4 100 5 95 6 97 无法计算每个小包，因此我们决定平均付款。因此，六个封包中的标签平均数量为97.166，因此总付款额为9716美元。 我只想知道统计学家必须如何处理这类问题。 此外，我想知道我们应该支付多少钱才能获得95％的保证，即我们支付的总标签数量不超过实际数量。 附加信息： P（任何大于100个标签的数据包）= 0 P（任何小于90个标签的数据包）= 0 =标签数小于90时很容易检测到小于90个标签，因为数据包的重量更小} 编辑： 经销商只是否认了这种渎职行为。我们发现这些经销商是在特定的佣金下工作的，他们从制造商那里得到公司的付款。当我们直接与制造商联系时，我们发现这既不是制造商也不是经销商的错。制造商说：“标签之所以短缺，是因为纸张的尺寸没有标准化，并且从单张纸上切下的任何数量都将它们捆成一包。” 此外，我们验证了附加信息中给出的第一个断言，因为制造商承认，由于纸张尺寸的小幅增加，因此无法裁切额外的标签，而且由于纸张尺寸的小幅缩小，因此无法裁切100个大小完全相同的标签。
5
如何在机器学习中处理分层/嵌套数据
我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …
29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 
2
贝叶斯可信区间过程的决策理论依据是什么？
（要了解我为什么写这篇文章，请查看我对这个问题的回答下方的评论。） III型错误和统计决策理论 为错误的问题提供正确的答案有时被称为III型错误。统计决策理论是不确定性下决策的形式化。它提供了一种概念框架，可以帮助避免III型错误。该框架的关键要素称为损失函数。它包含两个参数：第一个是世界的真实状态（的相关子集）（例如，在参数估计问题中，真实参数值）；第二个是一组可能动作中的一个元素（例如，在参数估计问题中，估计θ）θθ\thetaθ^)θ^)\hat{\theta})。输出对与世界上每种可能的真实状态有关的每种可能的动作所造成的损失进行建模。例如，在参数估计问题中，一些众所周知的损失函数是： 绝对误差损失L(θ,θ^)=|θ−θ^|L(θ,θ^)=|θ−θ^|L(\theta, \hat{\theta}) = |\theta - \hat{\theta}| 平方误差损失L(θ,θ^)=(θ−θ^)2L(θ,θ^)=(θ−θ^)2L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2 哈尔瓦里安的LINEX损失L(θ,θ^;k)=exp(k(θ−θ^))−k(θ−θ^)−1, k≠0L(θ,θ^;k)=exp⁡(k(θ−θ^))−k(θ−θ^)−1, k≠0L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0 检查答案以找到问题 在某些情况下，可能会试图通过着重于制定正确的损失函数并继续进行其余的决策理论方法（此处未详述）来避免III型错误。这不是我的简要介绍–毕竟，统计学家已经掌握了许多行之有效的技术和方法，即使它们并非源自这种方法。但是，在我看来，最终结果是绝大多数统计学家都不了解也不在乎统计决策理论，而且我认为他们不在了。对于那些统计学家，我认为他们之所以会发现统计决策理论在避免III类错误方面很有价值，是因为它提供了一个框架，可以在其中询问任何建议的数据分析程序：该程序可以最佳地应对什么损失函数（如果有）？也就是说，在什么决策情况下，它到底能提供最佳答案？ 后预期损失 从贝叶斯角度来看，损失函数就是我们所需要的。我们几乎可以忽略决策理论的休息-几乎可以肯定，做的最好的事情是尽量减少后预期损失，也就是找到动作aaa最小化L~(a)=∫ΘL(θ,a)p(θ|D)dθL~(a)=∫ΘL(θ,a)p(θ|D)dθ\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta。 ？（至于非贝叶斯观点嗯，这是频率论决策理论的定理-具体来说，沃尔德的完全类定理 -即最佳动作永远是尽量减少贝叶斯后验预期损失相对于一些（可能是不当）这个结果的困难在于它是一个存在定理，没有给出关于使用哪个先验的指导，但是它有效地限制了我们可以“反转”以弄清楚到底是哪个问题的过程的类别。特别是，反转任何非贝叶斯程序的第一步是弄清楚它复制或近似哪个贝叶斯程序（如果有）。 嘿，青色，您知道这是一个问答网站，对吗？ 最后，这使我提出了一个统计问题。在贝叶斯统计中，当为单变量参数提供间隔估计时，两个常见的可信间隔过程是基于分位数的可信间隔和最高后验密度可信间隔。这些程序背后的损失函数是什么？
4
贝叶斯和常驻点估计量在什么条件下重合？
对于平坦的先验，ML（频率-最大似然）和MAP（贝叶斯-最大后验）估计量是重合的。 但是，更笼统地说，我说的是作为某些损失函数的优化子而得出的点估计量。即 ）X（x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) } x^(.)=argminE(L(x−x^(Y))|x)(Frequentist)x^(.)=argminE(L(x−x^(Y))|x)(Frequentist) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)} 其中EE\mathbb{E}是期望算子，LLL是损失函数（最小为零），x^(y)x^(y)\hat x(y) 是估计器，给定参数x的数据y，并且随机变量用大写字母表示。yyyxxx 是否有人知道LLL，xxx和y的pdf yyy，施加的线性度和/或无偏度的任何条件，这些条件在哪些条件下估计会重合？ 编辑 …
2
硬币翻转，决策过程和信息价值
想象一下以下设置：您有2个硬币，保证硬币A 为公平硬币，而硬币B可能为公平硬币，也可能不是。您被要求进行100次硬币翻转，并且您的目标是最大数目的正面。 您有关硬币B的先前信息是，硬币B被翻转3次并产生1个头。如果您的决策规则仅基于比较两个硬币正面的预期概率，则可以将硬币A翻转100次并完成操作。即使使用合理的概率贝叶斯估计（后验均值）也是如此，因为您没有理由相信硬币B产生更多的正面。 但是，如果硬币B实际上偏向正面，该怎么办？在某些情况下，通过翻转硬币B两次（因此获得有关其统计属性的信息）肯定会放弃“潜在的头脑”，这在某种意义上是有价值的，因此会影响您的决策。如何用数学方式描述“信息价值”？ 问题：在这种情况下，如何在数学上构造最佳决策规则？
1
严格冯·诺依曼不等式的例子
令表示相对于先验的估计器的贝叶斯风险，令表示参数空间上所有先验的集合，而表示所有（可能是随机的）决策规则。r(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta 约翰·冯·诺伊曼（John von Neumann）的极小极大不等式的统计解释表明： supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, \delta), 当\ Theta和\ Delta都是有限的时，保证对某些δ′δ′\delta'和\ pi'具有严格的相等性。π′π′\pi'ΘΘ\ThetaΔΔ\Delta 有人可以提供不平等严格的具体例子吗？
2
什么是完整的足够的统计数据？
我在理解完整的足够统计信息时遇到了一些麻烦？ 令为足够的统计量。T=ΣxiT=ΣxiT=\Sigma x_i 如果且概率为1，则对于某些函数，它是一个完全足够的统计量。E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg 但是，这是什么意思？我看过制服和Bernoulli的示例（第6页http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf），但这不是直观的，我对集成感到困惑。 有人可以简单直观地解释吗？
1
理发师的难题
我的美发师史黛西（Stacey）总是笑着说，但经常因管理时间而受到压力。今天，斯泰西因我的任命而逾期未交，并且非常抱歉。在理发时，我想知道：她的标准约会应该持续多久？（如果可以暂时忽略客户对干净整数的偏爱）。 需要考虑的是某种“涟漪效应”，一个非常晚的客户可能导致一连串的延迟约会。实际上，理发师由于担心这些压力大的日子而直观地学会间隔越来越久。但是，必须要有一些统计天才才能实现最佳，优雅的解决方案。（如果我们稍微降低现实水平） 假设 a）剪发时间是正态分布的， b）只有一个理发师。 预约时间太长，显然会浪费美发师等待下一次约会的时间。让我们将此浪费的时间花费为每分钟$ 1。 但是，如果约会的时间不够长，下一位客户就会一直等待，这对喜欢客户的史黛西来说是每分钟3美元的沉重成本。 Stacey每天最多工作8个小时，并且有足够的需求来满足自己所能容纳的尽可能多的约会 平均剪发需要30分钟，而且要进行性病。10分钟的开发时间。（我们也假设男人的削减和女人的削减是相同的！） 编辑-有些人正确地指出，Stacey可以在他们指定的时间之前参加早期客户。这增加了另一层复杂性，但是如果我们将其视为一个非常现实的问题，则需要将其包括在内。让我们忘记我的90/10假设，并尝试一个可能接近现实的假设。 有些客户迟到，有些则早。客户的平均延迟时间为2分钟，标准差为2分钟（听起来与实际情况差不多吗？） 她的约会应该多长时间？ @alexplanation对不起，我已经把您的目标发布了！我相信R读者会感谢您的回答。
2
感知器的决策边界图
我试图绘制感知器算法的决策边界，我对一些事情感到非常困惑。我的输入实例的格式为，基本上是2D输入实例（x 1和x 2）和二进制类目标值（y）[1或0]。[ （x1个，X2），ÿ][(x1,x2),y][(x_{1},x_{2}), y]X1个x1x_{1}X2x2x_{2}ÿyy 因此，我的权重向量的形式为：。[w1,w2][w1,w2][w_{1}, w_{2}] 现在我必须合并一个额外的偏置参数，因此我的权重向量变成3 × 1向量？是1 × 3向量吗？我认为应该是1 × 3，因为向量只有1行n列。w0w0w_{0}3×13×13 \times 11×31×31 \times 31×31×31 \times 3 现在假设我将实例化为随机值，该如何绘制决策边界？含义w 0在这里表示什么？是瓦特0 / Ñ ø ř 米（瓦特）的判定区域的离原点的距离是多少？如果是这样，我如何捕获它并使用matplotlib.pyplot或其等效的Matlab在Python中绘制它？[w0,w1,w2][w0,w1,w2][w_{0}, w_{1}, w_{2}]w0w0w_{0}w0/norm(w)w0/norm(w)w_{0}/norm(w) 对于这个问题，我什至会提供一点帮助。
3
MAP是
我在其中一门在线课程中遇到了这些幻灯片（第16和＃17号幻灯片）。讲师试图解释最大后验估计（MAP）实际上是解决方案L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]，其中θ∗θ∗\theta^{*}是真实参数。 有人可以解释一下如何进行吗？ 编辑：添加了幻灯片，以防链接断开。
3
如何选择最佳指标来测量校准？
我编程并进行测试驱动的开发。在更改代码后，我将运行测试。有时他们成功，有时他们失败。在我运行测试之前，我写下一个从0.01到0.99的数字，以表示我相信测试会成功。 我想知道我在预测测试成功还是失败方面是否有所进步。如果我可以跟踪我是否更擅长预测测试在星期一还是星期五成功，那也将是很好的。我想知道，如果我预测测试成功的能力与我跟踪的其他指标相关。 剩下的工作就是选择正确的指标。在超级预测中，Philip Tetlock建议使用Brier分数来衡量专家的校准水平。文献中提出的另一种度量是对数评分规则。还有其他可能的候选人。 如何确定要使用的指标？是否有理由赞成一种计分规则而不是其他计分规则？
2
除了Durbin-Watson，还有哪些假设检验可以得出不确定的结果？
所述德宾沃森检验统计量可以位于一个不确定区域，其中它是不可能要么拒绝或不拒绝零假设（在这种情况下，零自相关的）。 还有哪些其他统计检验可以得出“不确定”的结果？ 对于为什么这组测试无法做出二进制的“拒绝” /“拒绝失败”决定，是否有一般的解释（挥手就好）？ 如果有人可以将决策理论的涵义作为他们对后一个查询的答案的一部分，那将是一个额外的奖励—是否存在（结论）附加类别是否意味着我们需要考虑第一类和第二类的成本错误以更复杂的方式？
1
将偏见和方差平方和的加权和最小化的估算器如何适合决策理论？
好的-我的原始讯息未能引起回应；因此，让我将问题改写为另一个。我将从决策理论的角度解释我对估计的理解。我没有经过正规的培训，如果我的想法在某种程度上有缺陷，也不会感到惊讶。 假设我们有一些损失函数。预期的损失是（频繁发生的）风险：L （θ ，θ^（x ））L(θ,θ^(x))L(\theta,\hat\theta(x)) [R （θ ，θ^（x ））= ∫L （θ ，θ^（x ））L（θ ，θ^（x ））dX ，R(θ,θ^(x))=∫L(θ,θ^(x))L(θ,θ^(x))dx,R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx, 其中是可能性; 贝叶斯风险是预期的常客风险：L （θ ，θ^（x ））L(θ,θ^(x))\mathcal{L}(\theta,\hat\theta(x)) r （θ ，θ^（x ））= ∫∫[R （θ ，θ^（x ））π（θ ）dX dθ ，r(θ,θ^(x))=∫∫R(θ,θ^(x))π(θ)dxdθ,r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta, 其中是我们的先验。π（θ ）π(θ)\pi (\theta) 在一般情况下，我们发现了θ（X ），最大限度地减少[R而这一切工作地非常好; 而且富比尼定理适用，我们可以反向整合的顺序，使任何给定的θ（X ）最小化[R是独立于所有其他人。这样就不会违反似然性原则，并且让我们对成为贝叶斯等感到满意。θ^（x ）θ^(x)\hat\theta(x)[Rrrθ^（x ）θ^(x)\hat\theta(x)[Rrr 例如，给定大家熟悉的平方误差损失，我们的频率论风险是均方误差或平方偏差和方差和我们的总和贝叶斯风险是给定我们先前的即后验期望损失的期望偏差和方差的平方和。L （θ ，θ^（x ））= （θ - …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.