Questions tagged «methodology»

在对数据集进行聚类分析以将相似案例分组时，需要在大量聚类方法和距离度量中进行选择。有时，一种选择可能会影响另一种，但是方法有很多可能的组合。 是否有人对如何从各种聚类算法/方法和距离度量中进行选择提出建议？这与变量的性质（例如分类或数字）和聚类问题有什么关系？有没有最佳技术？

73 clustering  distance-functions  methodology 

最近，我一直在阅读很多有关Fisher假设检验方法和Neyman-Pearson思想流派之间的差异的信息。 我的问题是，暂时忽略哲学上的反对意见。什么时候应该使用Fisher的统计建模方法，什么时候应该使用显着性水平等的Neyman-Pearson方法？是否有一种实用的方法来决定在任何给定的实际问题中应支持哪种观点？

73 hypothesis-testing  p-value  methodology 

什么是最重要的统计学家？什么使他们成名？ （请每个回答仅回答一位科学家。）

53 methodology  history 

我知道这是一个非常热门的话题，没有人能真正给出简单的答案。不过，我想知道以下方法是否有用。 引导方法仅在样本或多或少（准确读取）与原始总体相同的分布时才有用。为了确定是这种情况，您需要使样本大小足够大。但是什么足够大？ 如果我的前提是正确的，那么在使用中心极限定理来确定总体均值时，您也会遇到相同的问题。只有当样本量足够大时，您才能确定样本均值的总体呈正态分布（在总体均值附近）。换句话说，您的样本需要足够好地代表您的人口（分布）。但是，又有什么足够大的呢？ 以我的情况（管理过程：完成需求所需的时间与需求量）为例，我有一个多模式分布的人群（所有需求在2011年完成），其中99％的人相信它会更少我想要研究的数据通常要比人口分布（当前和过去一天之间完成的所有需求，理想情况下此时间跨度要尽可能小）更好。 我的2011年人口总数不足以制作样本，样本数量为n。我选择x的值 ，假设为10（x = 10）。现在，我通过反复试验来确定合适的样本量。我取n = 50，看看是否使用Kolmogorov-Smirnov正态分布样本。如果是这样，我重复相同的步骤，但样本大小为40，如果不重复，则样本大小为60（以此类推）。XXxññnXXx101010x = 10X=10x=10n = 50ñ=50n=50404040606060 一段时间后，我得出结论，是获得或多或少很好地表示我的2011年人口的绝对最小样本量。因为我知道我感兴趣的人群（在今天和过去一天之间完成的所有需求）的方差较小，所以我可以放心地使用n = 45的样本量进行引导。（间接地，n = 45决定了我的时间跨度：完成45个需求所需的时间。）n = 45ñ=45n=45n = 45ñ=45n=45n = 45ñ=45n=45454545 简而言之，这就是我的想法。但是由于我不是统计学家，而是一位工程师，他的统计学课程在随后的日子里发生，所以我不能排除我只是产生了很多垃圾的可能性。你们有什么感想？如果我的前提合理，我是否需要选择一个大于10或更小的？根据您的回答（我是否需要感到尴尬？:-），我将发布更多讨论想法。XXx101010 关于第一个答案的答复感谢您的答复，您的回答对我非常有用，尤其是书链接。 但是我很害怕在提供信息的过程中我完全掩盖了我的问题。我知道引导程序样本将接管总体样本的分布。我完全跟随你，但是... 您的原始人口样本需要足够大，以适度确定您的人口样本分布与人口的“实际”分布相对应（等于）。 这仅是关于如何确定原始样本大小需要多少的想法，以便合理确定样本分布与总体分布相对应。 假设您具有双峰人口分布，并且一个顶部比另一个顶部大很多。如果样本数量为5，则很有可能所有5个单位的值都非常接近大型顶部（随机抽取一个单位的机会最大）。在这种情况下，您的样本分布将看起来是单峰的。 样本数量为一百时，样本分布也是双峰的机会就更大了！！自举的麻烦在于您只有一个样本（并且您将在该样本的基础上进一步构建）。如果样本分布确实与总体分布不符，那么您就有麻烦了。这只是使“不良样本分布”机会尽可能低而又不必使样本大小无限变大的想法。

33 bootstrap  sample-size  methodology 

如果您最近一直在阅读社区公告，则可能会看到StackExchange网络首席执行官 Joel Spolsky 在StackExchange官方博客上的帖子“ The Snark的狩猎” 。他讨论了对SE注释样本进行的统计分析，以从外部用户的角度评估它们的“友好性”。这些评论是从StackOverflow中随机抽取的，内容分析员是亚马逊Mechanical Turk社区的成员，这是一个工作市场，该平台将公司与以低廉的费用执行简短任务的工人联系在一起。 不久前，我是一名政治学研究生，我参加的课程之一是“ 统计内容分析”。该班级的最后一个项目，实际上是其全部目的，是对《纽约时报》的战争报道进行详细分析，以检验美国人对战争期间新闻报道的许多假设是否准确（破坏者：证据表明他们在不）。该项目非常庞大且非常有趣，但是到目前为止，最痛苦的部分是“培训和可靠性测试阶段”，该阶段发生在我们进行全面分析之前。它有两个目的（有关详细说明，请参阅链接论文的第9页，以及在内容分析统计资料中对编码器可靠性标准的引用）： 确认所有编码人员（即内容阅读者）都接受了相同的定性定义培训。在Joel的分析中，这意味着每个人都将确切地知道该项目如何定义“友好”和“不友好”。 确认所有编码器都可靠地解释了这些规则，即我们采样了样本，分析了子集，然后从统计学上证明了我们在定性评估中的成对相关性非常相似。 可靠性测试很痛苦，因为我们必须做三到四次。直到-1-被锁定并且-2-显示出足够高的成对相关性，我们对于完整分析的结果还是值得怀疑的。无法证明它们有效或无效。最重要的是，我们必须在最终样本集之前进行可靠性的中试。 我的问题是：乔尔（Joel）的统计分析缺乏试点可靠性测试，也没有建立“友好”的任何运营定义。最终数据是否足够可靠，足以说明其结果的统计有效性？ 从一个角度来看，请考虑一下有关互编码器可靠性和一致的操作定义的价值的入门知识。在同一资料的更深处，您可以阅读有关飞行员可靠性测试的信息（列表中的项目5）。 根据Andy W.在他的回答中的建议，我正在尝试使用R中的此命令系列（在我计算新的统计信息时进行更新）来计算数据集上的各种可靠性统计信息（可在此处获得）。 描述性统计数据在这里 百分比一致性 （容差= 0）：0.0143 百分比协议（公差为1）：11.8 克里彭多夫的阿尔法： 0.1529467 在另一个问题中，我也尝试针对此数据建立项目响应模型。

25 reliability  agreement-statistics  methodology 

除了明显的分类器特征，例如 计算成本， 功能/标签的预期数据类型和 适用于某些大小和尺寸的数据集， 首先对一个尚不十分了解的新数据集（例如语义和各个特征的相关性）首先尝试的前五个（或10、20？）分类器是什么？通常，我尝试使用朴素贝叶斯，最近邻居，决策树和SVM-尽管我没有充分的理由选择此选项，但我了解它们并主要了解它们的工作原理。 我猜应该选择涵盖最重要的通用分类方法的分类器。根据该标准或其他任何原因，您会推荐哪种选择？ 更新：针对该问题的另一种表述可能是：“存在哪些通用的分类方法，哪些特定方法涵盖了最重要/最受欢迎/有希望的方法？”

25 machine-learning  classification  methodology 

上周，我参加了人格与社会心理学协会的一次会议，在该会议上，我看到Uri Simonsohn的演讲，前提是使用先验能力分析来确定样本量实际上是无用的，因为其结果对假设如此敏感。 当然，这种说法违背了我在方法论课上所学的知识，也违背了许多著名方法学家的建议（最著名的是Cohen，1992年），因此Uri提出了一些与他的主张有关的证据。我试图在下面重新创建一些证据。 为简单起见，让我们假设您有两组观察结果，并猜测效果大小（通过标准化均值差衡量）为。标准功率计算（使用下面的软件包完成）将告诉您，需要观察才能获得此设计的80％功率。128.5.5.5Rpwr128128128 require(pwr) size <- .5 # Note that the output from this function tells you the required observations per group # rather than the total observations required pwr.t.test(d = size, sig.level = .05, power = .80, type = "two.sample", alternative = "two.sided") 但是，通常，我们对效果的预期大小的猜测（至少是在我所研究的社会科学领域）至少是-粗略的猜测。如果我们对效果的大小有些怀疑，那会发生什么？快速功效计算可以告诉您，如果效果的大小是而不是，则需要次观察- 是为的效果具有足够功效的数量的倍。同样，如果效果的大小为，则只需要进行观察，即需要有足够的能力才能检测到的效果的70％.5 200 1.56 .5 …

23 hypothesis-testing  power-analysis  effect-size  power  methodology 

季节性调整是预处理数据以进行进一步研究的关键步骤。但是，研究人员对于趋势周期-季节分解有多种选择。最常见的季节性分解方法（根据经验文献中的引用次数）是X-11（12）-ARIMA，Tramo / Seats（均在Demetra +中实现）和的stl。试图避免在上述分解技术（或其他简单方法，如季节性虚拟变量）之间随机选择，我想知道一种可以有效选择季节性分解方法的基本策略。[R[RR 几个重要的子问题（也欢迎进入讨论链接）可能是： 这些方法有什么异同，优点和缺点？在某些情况下，一种方法比其他方法更可取吗？ 您能否提供有关不同分解方法黑匣子内部内容的一般指南？ 是否有一些特殊的技巧为方法选择参数（我并不总是对默认值感到满意，stl例如，有许多参数需要处理，有时我觉得我不知道如何正确选择这些参数）。 是否有可能提出一些（统计）标准来对时间序列进行季节性有效调整（相关图分析，频谱密度，小样本量标准或鲁棒性？）。

20 time-series  data-transformation  methodology  seasonality 

图形化显示3D密度函数的最佳方法是什么？如我想可视化 ？ž= fX，Y（x ，y）ž=FX，ÿ（X，ÿ）z=f_{X,Y}(x,y) 没必要，但是R代码会很棒。

19 r  data-visualization  methodology 

客观和主观贝叶斯范式之间有什么区别？ 它们对哪些对象或过程的定义或解释不同？ 他们选择的方法有什么不同吗？

12 bayesian  methodology 

我怀疑统计工具的大多数用户是辅助用户（没有或没有经过正规统计学培训的人们）。对于研究人员和其他专业人员来说，将统计方法应用于他们的数据非常诱人，因为他们在同行评审的论文，灰色文献，网络或会议上已经“先于”看过它们。但是，如果没有对所需的假设和统计工具的局限性有清楚的了解，则会导致错误的结果-错误通常是无法识别的！ 我发现，本科生（尤其是社会科学和自然科学专业的学生）要么没有意识到统计学上的陷阱，要么发现这些陷阱没有什么意义（后者通常是这种情况）。尽管可以在许多入门级教科书，网络或StackExchange中找到不当使用统计工具的示例，但我很难找到具有不利结果的现实示例（例如，以美元计的成本，受影响的生命和失去的职业） 。为此，我正在寻找真实的例子，这些例子突出了对统计方法的滥用： 统计入门课程通常涵盖所使用的统计方法（即推断统计，回归等）。 最终结果带来了高昂的后果（美元损失，生活受到影响，职业崩溃等等）。 这些数据随时可以用作课程中的工作示例（目的是让学生通过对现实世界产生影响的现实示例进行研究）。 在讨论在研究项目中正确定义单位的重要性时，我想举一个非统计的例子，这是“度量事故”，导致损失了1.25亿美元的卫星！这通常会引起学生的：-o因素，并且似乎具有持久的印象（至少在他们短暂的学习生涯中如此）。

12 dataset  methodology 

已关闭。这个问题是基于观点的。它当前不接受答案。 想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 7个月前关闭。 背景 我从对Andrew Gelman的Blog的评论中了解到StatProb.com。 根据该网站，StatProb为： StatProb：由统计与概率协会赞助的百科全书结合了传统Wiki（快速和最新发布，用户生成的开发，超链接和保存的历史记录）与传统发布（质量保证，审阅，作者信誉）的优势，以及结构化的信息显示）。所有贡献均已由领先的统计协会确定的编辑委员会批准；编辑委员会成员列在“关于”页面上。 我不是统计学家，但是我使用统计学，因此该站点似乎为我提供了机会，尽管我可能将其发布为附录或将其发布在网站上，但这些材料虽然可能对其他人有用，但可能不会发布。该选项之所以具有吸引力，是因为审查过程将增强我对我使用的方法的信心，并使其在公共领域具有一定的信誉。 尽管得到了主要统计和概率协会的支持，该站点仍未起飞。确实，一位博主问“ RIP StatProb？” 而且捐款的频率一直在下降。 题： 通过StatProb.com进行发布值得付出努力吗？ 更新： 截至今天（2012-02-01），最近的贡献是2011-05-04 ; 最近编辑2011-06。因此，今天的问题看上去比最初提出问题时的吸引力要小。

11 probability  references  methodology 

我一直在研究方法选择的理论框架（注意：不是模型选择），却发现很少有系统的，基于数学的动机。“方法选择”是指一个框架，用于针对问题或问题类型区分适当的（或更好的，最优的）方法。 我发现，即使是零星的，也可以在特定方法及其调整（即贝叶斯方法中的优先选择）以及通过偏差选择（例如归纳策略：偏向选择的语用学）的方法选择上进行大量工作。在机器学习发展的这个早期阶段，我可能是不切实际的，但是我希望找到类似测量理论在按比例类型规定可允许的转换和测试的过程中所做的事情，只是在学习问题领域发挥了重要作用。 有什么建议么？

11 machine-learning  methodology  theory 

我希望以下一般性问题有意义。请记住，出于特定问题的目的，我对引入非线性的理论（主题领域）原因不感兴趣。因此，我将提出完整的问题如下： 除了理论（学科领域）以外，出于某种原因将非线性引入统计模型的逻辑框架（标准和可能的决策过程）是什么？ 与往常一样，也欢迎相关资源和参考。

10 nonlinear-regression  methodology  nonlinear  regression-strategies 

在进行常客统计时，一长串重大的禁忌之举，例如在决定收​​集更多数据之前先查看统计测试的结果。我通常想知道贝叶斯统计中涉及的方法是否存在类似的不行清单，尤其是以下内容是否是其中之一。 我最近意识到，对于我一直在拟合的某些模型，我的过程一直是首先将模型与信息丰富的先验条件拟合，以查看其是否起作用或爆炸，然后将先验条件削弱为缺乏信息或弱信息化，调整模型。 我这样做的动机确实与我用JAGS / Stan编写这些模型有关，在我看来，我一直将其视为编程任务，而不是统计任务。因此，我进行了首次运行，通过使用先验信息使它能够快速收敛，从而更容易发现我编写的模型中的错误。然后，在调试模型后，我用无信息或信息量较弱的先验条件对其进行了重新拟合。 我的问题是我是否在此过程中违反了一些严肃的规定。例如，为了使我的推论有效，并且避免利用研究人员的自由度，在开始拟合任何模型之前，我是否需要承诺先验先验？

10 bayesian  methodology