Questions tagged «references»

我是统计学专业的研究生，因此与应用科学家（经济学家，林务员等）进行了几次合作。这些协作很有趣（大部分时间），我确实学到了很多东西，但是也有一些复杂性，例如： 有时，我对一个好的统计模型的看法与我的合作者的背景以及他们所在领域的惯例不同。这样一来，很难说服他们尝试新的东西，要么是因为他们难以理解模型，要么是因为他们不愿意改变自己的习惯 当提议使用不同的统计方法时，我经常给人一种印象，我的合作者认为这是对他们的“标准”方法的批评。但是，我绝不是要批评任何人的统计知识或习惯 最后还有另一个极端：有些人期望过高。他们认为我可以在没有他们帮助的情况下从他们的数据中奇迹般地提取出有趣的信息。当然，这是不对的，特别是如果我错过了特定学科的背景 我可能会想到更多的要点，但这是我想到的第一个要点。 我要问的问题是： 您在协作中遇到相同或相似的困难吗？你如何面对他们？通常，您如何做才能成为出色的统计合作伙伴？ 是否有任何有关此主题的第三方资源，即统计学家与应用科学家之间合作所需的软技能？ 注意：这个问题或多或少相反的这一个。

14 references 

是否有大规模的MCMC方法研究在一组测试密度上比较了几种不同算法的性能？我想到的是与Rios和Sahinidis的论文（2013）相同的东西，该论文将大量无衍生的黑盒优化器在几种测试函数上进行了全面比较。 对于MCMC，可以通过例如每个密度评估的有效样本数（ESS）或其他一些适当的指标来评估性能。 一些评论： 我理解性能将在很大程度上取决于目标pdf的细节，但是对于优化而言，类似的参数（可能不相同）成立，尽管如此，仍有大量基准测试功能，套件，竞赛，论文等用于基准测试优化。算法。 同样，MCMC与优化的不同之处还在于，需要更多的用户关注和调整。但是，现在有几种MCMC方法几乎不需要调整：在老化阶段，采样过程中适应的方法，或演化多个交互链并使用的多状态（也称为ensemble）方法（例如Emcee）。来自其他链条的信息以指导抽样。 我对标准方法与多状态（又称为合奏）方法之间的比较特别感兴趣。有关多状态的定义，请参阅MacKay的书的 30.6节： 在多状态方法中，多个参数向量被保留；它们在大都会和吉布斯等举动下各自发展；向量之间也存在相互作用。XX\textbf{x} 这个问题起源于这里。 更新资料 对于一个有趣采取多态又名集成方法，请参阅本博客文章由鲍勃·卡彭特格尔曼的博客，我的评论指这CV职位。

14 machine-learning  bayesian  references  mcmc 

高斯混合模型（GMM）之所以吸引人，是因为它们在分析和实践中都易于使用，并且能够建模某些奇特的分布而不会过于复杂。我们应该保留一些分析属性，这些属性通常并不明确。尤其是： SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? 假设我们有一个连续分布PPP，我们发现了一个NNN分量高斯混合P^P^\hat{P}，它的总变化量接近PPP：δ(P,P^)&lt;εδ(P,P^)&lt;ε\delta(P,\hat{P})<\varepsilon。我们可以用\ epsilon约束D（P || \ hat {P}）吗？D(P||P^)D(P||P^)D(P||\hat{P})ϵϵ\epsilon 如果我们想通过独立的加性噪声Y \ sim P_Y（真实的，连续的）观察X \ sim P_X，并且我们有GMM \ hat {X} \ sim Q_X，\ hat {Y} \ sim Q_N其中\ delta（P ，Q）&lt;\ epsilon，则此值较小：\ left | \ mathsf {mmse}（X | X + Y）-\ mathsf {mmse}（\ hat {X} | \ hat {X} + …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

我的统计培训扎根于数学统计，目前在我的MS上接受这些方法的课程有些震惊。由于我缺乏行业经验，因此目前我很难理解其中一些“应用”方法。 我们在方法类中一直谈论的主题之一是实验设计的思想。 举例来说，我想在一个声称提高K-12学生考试成绩的教育计划中进行有效性实验。 在方法课程中，他们教了以下方法来解决这一问题：确保您有一个好的研究问题，好的数据收集方法，随机实验，均质的治疗组（即，使用该程序治疗过的一组，也许不）理想地大小相等，然后运行检验（或某种非参数假设检验），一切都很好，对吗？ŤŤt 我几乎不相信这就是现实中的运作方式。 我了解到，当然，您可能需要进行一些方便的采样。除此之外，除了从教科书中学到的知识外，我不知道如何实现实验设计。 在实践中是否有教科书，阅读材料等探讨这些问题（理想情况下，不要掩饰数学-我不需要所有内容的详尽证明，但我不想被告知所有内容都是“明显”）？

14 references  experiment-design 

我数学上很偏向于我-在本科生中有6个学期的数学-尽管我有点不习惯，并且对偏微分方程和路径积分说的很慢，但我的概念却又经过一些实践。我还没有关于数学证明（数学思维）的课程或关于分析的课程。 我也了解毕业生水平的机率-对其进行了正式研究，最近又刷新了我的知识。 我还开设了一些统计学和统计学学习的研究生课程。 我出于个人兴趣，希望在接下来的18-24个月内学习数学统计。我想平均每周进行5个小时的自学。 我对如何做有点茫然。我曾尝试从Casella和Berger的书中学习，但确实没有任何进展。我发现这本书有点无聊，而且方法很难处理。 我发现Casella和Berger遇到的困难： 不好意思这样说，但是类型设置的开始-它被打包以减少空白的方式让我失望 那里有很多证据，但是我感到缺乏直觉，这说明我们为什么要努力取得结果以及即将实现的更大目标是什么。 引用前几章中的证明在某种程度上使我对材料感到难以理解-我回头了很多，直到我最终放弃。 这个例子似乎是可行的，但是我无法解决这些问题-这些问题似乎在一个班上。 我只是无法深入研究材料-我想知道我的思维方式是否需要更严格的处理- 我应该考虑对数学统计采用量度理论方法吗？ 因此，问题是：是否有一本教科书，我穿鞋的人可以学习并自学该主题。 我想要的是文字： 从很多方面来说，我想要的东西都是我在卡塞拉和伯格中不喜欢的东西的反面。 这本书的类型设置会有所帮助。下面的一些要点将阐述这一点。 我认为最好有一本书以一种我们对我们想做的事情的直觉作为开端，也许是从非数学意义上讲-有点像Freeman 等人的《Statistics》一书。 一本以同时的数学推导和注释格式展示定理的书–在CB中，我只是放弃了尝试阅读证明的尝试 本书的每一节都有很多已解决的问题。 本书还包含计算练习，使读者可以通过使用R探索概念来更好地理解 一本书涵盖了数学统计学的第一门或第二门研究生课程所需的材料。 补充说明： 我知道这个问题，《数学家统计学概论》 —在发布这个问题之前，我已经研究过一些重叠和一些答案—但是，我觉得这两个问题有不同的要求。

14 mathematical-statistics  references 

我只是想问一问，您认为哪本书是最好的自助书。因此，我并不一定只指其开发人员编写的内容。 您能否指出哪本教科书最适合您，并能满足以下条件？ 该技术的哲学/流行病学基础列出了适用范围，优点和缺点，对模型选择的重要性？ 一组很好的简单示例，显示了实现的基本原理，最好是在Matlab中？

14 sampling  model-selection  bootstrap  references  resampling 

刑事审判后，一位朋友代表客户提出上诉，陪审团的选择似乎带有种族偏见。 评审团由4个种族组成的30人组成。检方使用了强制性的挑战，以从池中消除了10个人。每个种族群体的人数和实际挑战的数量分别是： A: 10, 1 B: 10, 4 C: 6, 4 D: 4, 1 total: 30 in pool, 10 challenges 被告来自种族C组，受害者来自种族A和D组，因此先验问题是C组是否受到过挑战，而A和D组受到了挑战。从法律上讲（IIUC; IANAL），辩方不需要证明种族偏见，而只是表明数据似乎表明存在偏见，这便使控方有责任从非种族角度解释每项挑战。 以下分析的方法正确吗？（我认为计算很好。）： 有10个池成员的nCr（30,10）= 30,045,015个不同的集合。在这些不同的集合中，我计算出433,377个集合同时包含（不超过A组和D组的2个成员）和（不少于C组的4个成员）。 因此，达到观察到的明显偏见水平的机会比A组和D组优于C组（其中10项挑战中不包括偏爱）是它们的比率，即433/30045 = 1.44％。 因此，原假设（无此类偏差）在5％的显着性水平上被拒绝。 如果这种分析在方法上是正确的，那么向法院描述它的最简洁方法是什么，包括学术/专业参考文献（即不是Wikipedia）？虽然论点看起来很简单，但如何能最清楚，最简洁地向法院证明它是正确的，而不是恶作剧呢？ 更新：在上诉摘要中，该问题已作为三级辩论进行了审议。考虑到此处讨论的技术复杂性（从律师的角度来看）以及明显缺乏法律先例，律师选择不提出建议，因此在这一点上，问题主要是理论上/教育上的。 要回答一个细节：我相信挑战的数量是10个。 在研究了周到且具有挑战性的答案和评论（谢谢！）之后，似乎这里有4个独立的问题。至少对我来说，将它们分开考虑（或听听为什么它们不可分离的争论）是最有帮助的。 1）在陪审团的挑战中，是否优先考虑被告人和受害者的种族？上诉论点的目的仅是引起合理关注，这可能导致司法命令，要求检方陈述每个单独质疑的理由。在我看来，这不是一个统计问题，而是一个社会/法律问题，由律师酌情决定是否提出。 2）假设（1），我对替代假设的选择（定性：对分享被告人的种族的陪审员的偏见，而赞成分享被害人的种族的偏见）是合理的，还是事后不允许？从我的外行角度来看，这是最令人困惑的问题-是的，如果一个人不遵守，当然不会提出！据我了解，问题在于选择偏见：一个人的测试不仅应考虑这个陪审团池，还应考虑所有此类陪审团池的范围，包括所有未发现辩护方存在差异并因此不愿意提出该问题的陪审员池。 。如何解决这个问题？（例如，安迪的测验如何解决这个问题？）看来，尽管我对此可能有误，但大多数受访者并未为可能的事后调查感到困扰1尾测试，仅针对被告所在的群体进行偏见测试。假设（1），同时测试受害者群体的偏见在方法上有何不同？ 3）如果有人规定我选择（2）中所述的定性替代假设，那么检验它的合适统计量是什么？这是我最困惑的地方，因为我建议的比率似乎与安迪关于更简单的“偏于C的”替代假设的检验的保守度稍高（更保守，因为我的检验也将所有情况都排除在外）在尾部，而不仅仅是观察到的确切数字。） 两种检验都是简单的计数检验，具有相同的分母（样本的相同宇宙），并且分子精确地对应于与各个替代假设相对应的那些样本的频率。那么，@ whuber，为什么它和安迪的计数测试不一样，因为它“可以基于规定的空值[相同]和替代性的[描述的]假设，并使用内曼-皮尔森引理证明是正确的”？ 4）如果有人规定（2）和（3），那么在判例法中是否存在可以说服怀疑上诉法院的内容？从迄今为止的证据来看，可能还没有。同样，在上诉的这个阶段，没有任何“专家证人”的机会，因此参考就是一切。

14 probability  statistical-significance  references  bias  combinatorics 

出于最近R预测包中的默认模型选择统计从AIC更改为AICc的动机，我很好奇后者在任何地方都适用的情况下是否确实适用。在这方面，我有一系列问题，这是第一个。 我知道，Burnham和Anderson（非统计学家）在（1）中所著的著名著作（在此处进行了总结）建议采用随处可见的AICc来代替AICc 。有时候，年轻的统计学家会不加批判地提及这本书，例如，参见Rob Hyndman对本博客文章的评论，但统计学家Brian Ripley提出了一种截然不同的建议： “Burnham and Anderson (2002) is a book I would recommend people NOT read until they have read the primary literature. I see no evidence that the authors have actually read Akaike’s papers." [quoted from [AIC MYTHS AND MISUNDERSTANDINGS][4] by Burnham-Anderson] 确实是根据里普利（Ripley）在AIC和相关理论上所写的内容，应认真对待警告。我既有大量的Akaike自己的论文集，也有Burnham-Anderson的书。我最终将对本书的质量有自己的看法，但这也将有助于了解统计人员（无论年龄大小）对此的看法。特别是，是否有统计学教授（或其他统计学的优秀学生）明确推荐这本书作为使用AIC进行模型选择的知识的有用总结？ 参考： （1）Burnham，KP＆Anderson，DR模型选择和多模型推理：实用的信息理论方法Springer，2002年 PS。在回答最近的“答案”时指出“ Burnham博士是统计学博士”时，我想补充一下。是的，他本人是统计学家，是ASA的会员，并且获得了许多专业奖项，包括ASA的杰出成就奖章。但是谁说他不是？我上面所说的是，作为两位作者，他们不是统计学家，而这本书反映了这一事实。

14 model-selection  references  aic 

我刚刚观看了有关统计推断（“比较比例和均值”）的讲座，这是统计在线课程简介的一部分。对于我来说，这种材料一如既往地毫无意义（到现在为止，我必须已经看过数十遍这种材料，并且在过去的三十年中一直散布着）。 我正在寻找一本有关“基本Stats-101”的书（分数估算，估算评估，统计推断，假设检验，研究设计），该书认真对待了说服怀疑论者的问题。 下面，我给出了一些我正在寻找的作者会认真对待并知道如何令人信服地解决的问题类型的示例。 但是首先让我花点时间强调一下，在这篇文章中我没有问这些问题。 请不要回答他们！ 我以“石蕊试纸法”（针对搜索作者的类型）为例进行举例说明。 如果“比例”只是布尔变量的均值（即仅取值0和1的布尔变量），那么为什么要教不同的过程来对“比例”和“均值”进行统计推断呢？ 如果正态分布非常健壮，即使在数据不是非常正态分布的情况下，假设正态性也会产生良好的结果，并且如果t分布看起来很正态，那么为什么所有关于使用t分布而不是正常？ “自由度” 到底是什么？为什么我们担心它们？ 考虑到我们只是使用恰好看起来与数据相似的分布，说一个参数的“真实”值意味着什么？ 为什么“探索性数据分析”是一件好事，而“数据监听”却是一件坏事？ 正如我已经说过的，我对忽略此类问题所隐含的态度感到不满意。我不想在教给我一些东西的人中看到“认识论立场”。我正在寻找尊重读者的怀疑和理性，并且知道如何解决这些问题的作者（不必深入探讨形式主义和技术性的页面）。 我意识到这是一个艰巨的任务，尤其是在统计方面。因此，我不希望有很多作者能够成功。但是现在我只满足于找到一个。 让我补充一点，我不是数学上的厌恶者。相反，我喜欢数学。（我对分析（又称“高级演算”），线性代数，概率论，甚至基本测度论感到满意。） 也就是说，我目前的兴趣是“应用”，“实用”，“日常”，“现实”统计（与理论上的细微差别相反）。（但我也不想要食谱！） FWIW，我已经阅读了Gelman和Hill的使用回归和多层次/层次模型进行数据分析的前几章，并且我喜欢作者的语气。他们的重点是实际的，但在需要时可以进行理论探讨。他们还经常退后一步，对标准做法进行严格评估，并提出坦率的见解，以引起怀疑的读者的常识。不幸的是，这些作者还没有写一本书专门讨论我在这篇文章中要问的话题（如上所述，“ Stats 101”一词）。我还知道，其中一位作者（Gelman）与人共同撰写了备受赞誉的贝叶斯数据分析，但是，这又不是我目前正在寻找的东西。 编辑： Dikran Marsupial提出以下反对意见： 我认为忽略问题并不一定有什么不对，有一个观点认为，解决每个问题有损于通常更重要的基本概念的阐述（尤其是在统计101本书中！）。 我同意这一点。如果我说我正在寻找“第二眼基本统计数据”，那对我来说会更准确。实际上，以此为动力，我看了研究生课程中有关推理（说）的教科书，发现它们太像我列出的问题而被忽略了。如果有的话，他们似乎甚至不太愿意去研究这样的问题（这样他们就可以专注于诸如某些融合条件或其他……）的问题。 问题在于，更高级的书籍针对的是完全不同的读者群体，其中“局外人”的怀疑已被彻底耗尽。IOW，那些正在做研究生水平统计的人已经超出了困扰我的问题的地步。他们不再对这些东西持怀疑态度。（他们是如何克服怀疑态度的？然后统计一下。其他人可能有老师填写了他们的课本不足的地方。一些人可能很聪明，可以自己找出这些问题的答案。

14 references  inference  point-estimation 

我对寻找一种生成相关的非正常数据的方法感兴趣。因此，理想情况下，某种类型的分布将协方差（或相关）矩阵作为参数，并生成近似该分布的数据。但是这里有个要点：我试图找到的方法应该具有灵活性，也可以控制其多元偏度和/或峰度。 我熟悉Fleishman的方法和正态变量的幂方法的使用，但是我相信大多数扩展只允许用户使用边际偏度和峰度的某些组合，而将多元偏度/峰度留在那儿。我想知道的是，是否有一种方法可以帮助指定多元偏度和/或峰度，以及一些相关性/协方差结构。 大约一年前，我参加了一次关于系蝇分布的研讨会，我记得这位教授随便提到了通过使用葡萄系蝇，一个人可以产生的数据在其一维边缘中的每一个都对称，但共同偏斜，反之亦然。 -反之亦然。或者，甚至更进一步，任何维数较低的边距在保持最大维数对称（或不对称）的同时，可能会有些偏斜或峰度。我一直对这种灵活性可能存在的想法感到惊讶，我一直试图找到某种描述上述方法的文章或会议论文，但我没有成功:(。不必通过使用copulas，我愿意接受任何可行的方法。 编辑：我添加了一些R代码，以尝试显示我的意思。到目前为止，我只熟悉Mardia对多元偏斜和峰度的定义。当我第一次解决问题时，我天真地想到如果我使用具有偏斜边线（在本例中为beta）的对称copula（在本例中为高斯），则对边沿的单变量检验会产生显着性，但Mardia对多变量偏斜/峰度的检验会很有意义。不重要。我尝试了一下，但并没有按我预期的那样出来： library(copula) library(psych) set.seed(101) cop1 &lt;- {mvdc(normalCopula(c(0.5), dim=2, dispstr="un"), c("beta", "beta"),list(list(shape1=0.5, shape2=5), list(shape1=0.5, shape2=5)))} Q1 &lt;- rmvdc(cop1, 1000) x1 &lt;- Q1[,1] y1 &lt;- Q1[,2] cop2 &lt;- {mvdc(normalCopula(c(0.5), dim=2, dispstr="un"), c("norm", "norm"),list(list(mean=0, sd=1), list(mean = 0, sd=1)))} Q2 &lt;- rmvdc(cop2, 1000) x2 &lt;- Q2[,1] y2 &lt;- Q2[,2] …

14 multivariate-analysis  references  random-generation  skewness  copula 

受这个问题的启发，我想知道是否针对大量极短文本的主题模型进行了任何工作。我的直觉是，Twitter应该是此类模型的自然灵感。但是，通过一些有限的实验，看起来标准主题模型（LDA等）在此类数据上的表现非常差。 有没有人知道在这方面所做的任何工作？本文讨论了将LDA应用于Twitter，但是我真的很感兴趣是否还有其他算法在短文档环境中表现更好。

14 references  text-mining  topic-models  natural-language 

我希望（在不久的将来）向孩子们教授统计学。就此而言，我很高兴知道软件（显然我倾向于FOSS）或Web应用程序，它们有助于向孩子（或成人）解释统计/概率思想。 可以由教师，孩子或两者同时使用。 答案的建议格式：软件名称，帮助教的内容，应由谁使用的软件，链接。

14 probability  references  software  teaching 

有谁知道一些可逆跳转MCMC的编写良好的代码（在Matlab或R中）？最好是一个简单的演示应用程序，以补充有关该主题的论文，这将有助于理解该过程。

14 r  matlab  references  mcmc 

我到处都看到这个名言，但每次都无法理解重点。 一个人暂时拒绝假设的情况，作为惯常做法，当重要性达到1％或更高水平时，肯定会被误以为不超过1％的此类决定。因为当假设正确时，他只会在这些情况的1％中被误解，而当假设错误时，他在误解中永远不会被误解。[...]但是，这种计算是荒谬的学术研究，因为实际上没有科学工作者每年都有固定的意义水平，在任何情况下，他都拒绝假设。他宁愿根据自己的证据和想法对每一个具体案件都下定决心。不应忘记，为进行测试而选择的案例显然是一个高度选择的案例，并且即使对于一个工人也无法指定选择条件；同样，在所使用的论点中选择一个特定的审判所表明的实际重要性水平显然是不合法的，就好像使用这一水平是他一生的习惯。 （统计方法和科学推断，1956年，第42-45页） 更具体地说，我不明白 为什么选择用于“高度选择”测试的案例？假设您想知道一个区域内人员的平均身高是否小于165厘米，然后决定进行测试。据我所知，标准程序是从该区域抽取随机样本并测量其高度。如何高度选择？ 假设案例是经过高度选择的，但是这与重要性级别的选择有什么关系？再次考虑上面的例子，如果您的抽样方法（我认为是费舍尔所说的选择条件）是歪斜的，并且以某种方式偏爱高个子，那么整个研究就会毁了，而对显着性水平的主观确定无法挽救它。 实际上，我什至不知道什么是“特定试验所表明的实际重要性水平”。它是该实验的值，还是一些著名的预设值（如著名的0.05），还是其他？ppp

14 hypothesis-testing  statistical-significance  references  experiment-design  philosophical 

在关于因果关系的一些文献评论中，我到处都可以看到运算符（例如，参见此Wikipedia条目）。但是，我找不到该运算符的正式定义。do （x ）do(x)do(x) 有人可以为此指出我一个很好的参考吗？我对一般定义感兴趣，而不是对特定实验中的解释感兴趣。

14 references  causality  definition