Questions tagged «chi-squared»

测试(通常是分布,独立性或拟合优度)或与此测试相关的分布族。

1
在什么级别上,检验在数学上与比例的检验相同?
背景:请安全跳过-在此仅供参考,并将问题合法化。 本文开头为: “卡尔·皮尔森(Karl Pearson)著名的卡方偶发性测验是基于正态分布,从另一个称为z统计量的统计量得出的。的最简单版本可以证明在数学上等同于等效z检验。在所有情况下,结果都是相同的。对于所有意图和目的,“卡方”都可以称为“ z平方”。一个自由度的的临界值是z的相应临界值的平方。χ2χ2\chi^2χ2χ2\chi^2 这已在CV中多次声明(此处,此处,此处及其他)。 而事实上,我们可以证明该相当于与:χ21dfχ1df2\chi^2_{1\,df}X2X2X^2X∼N(0,1)X∼N(0,1)X\sim N(0,1) 假设且并使用cdf方法求出的密度:X∼N(0,1)X∼N(0,1)X \sim N(0,1)Y=X2Y=X2Y=X^2YYYcdfcdfcdf p(Y≤y)=p(X2≤y)=p(−y√≤x≤y√)p(Y≤y)=p(X2≤y)=p(−y≤x≤y)p(Y \leq y) = p(X^2 \leq y)= p(-\sqrt{y} \leq x \leq \sqrt{y})。问题是我们不能以正态分布的密度紧密结合。但是我们可以表达它: FX(y)=FX(y√)−FX(−y√).FX(y)=FX(y)−FX(−y). F_X(y) = F_X(\sqrt{y})- F_X(-\sqrt[]{y}).取导数: fX(y)=F′X(y√)12y√+F′X(−y−−−√)12y√.fX(y)=FX′(y)12y+FX′(−y)12y. f_X(y)= F_X'(\sqrt{y})\,\frac{1}{2\sqrt{y}}+ F_X'(\sqrt{-y})\,\frac{1}{2\sqrt{y}}. 由于普通pdf的值pdfpdfpdf是对称的: fX(y)=F′X(y√)1y√fX(y)=FX′(y)1y f_X(y)= F_X'(\sqrt{y})\,\frac{1}{\sqrt{y}}。这等同于pdfpdfpdf正常的(即现在的xxx在pdfpdfpdf将y√y\sqrt{y},以被插入到e−x22e−x22e^{-\frac{x^2}{2}}正常的一部分pdfpdfpdf); 并记住最后要包含1y√1y\frac{1}{\sqrt{y}}: fX(y)=F′X(y√)1y√=12π−−√e−y21y√=12π−−√e−y2y12−1fX(y)=FX′(y)1y=12πe−y21y=12πe−y2y12−1 f_X(y)= F_X'(\sqrt[]{y})\,\frac{1}{\sqrt[]{y}}= \frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, \frac{1}{\sqrt[]{y}}=\frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, y^{\frac{1}{2}- 1} 与卡方的pdf相比: fX(x)=12ν/2Γ(ν2)e−x2xν2−1fX(x)=12ν/2Γ(ν2)e−x2xν2−1 f_X(x)= \frac{1}{2^{\nu/2}\Gamma(\frac{\nu}{2})}e^{\frac{-x}{2}}x^{\frac{\nu}{2}-1} 由于,对于 df,我们精确地得出了卡方的。 …

1
在原假设下,可交换样本背后的直觉是什么?
排列检验(也称为随机检验,重新随机检验或精确检验)非常有用,并且在t-test未满足例如要求的正态分布的假设以及通过按等级对值进行转换时派上用场非参数测试之类的测试Mann-Whitney-U-test会导致丢失更多信息。但是,在使用这种检验时,一个假设且唯一一个假设应该是原假设下样本的可交换性假设。还值得注意的是,当有两个以上的示例(如在coinR包中实现的示例)时,也可以应用这种方法。 您能用简单的英语用一些比喻语言或概念直觉来说明这一假设吗?这对于在像我这样的非统计学家中阐明这个被忽视的问题非常有用。 注意: 提及在相同假设下应用置换测试不成立或无效的情况将非常有帮助。 更新: 假设我随机从我所在地区的当地诊所收集了50个受试者。他们被随机分配为接受药物或安慰剂的比例为1:1。分别Par1在V1(基准),V2(3个月后)和V3(1年后)时测量了参数1 。根据特征A,所有50个主题都可以分为2组;正值= 20,负值=30。它们也可以基于特征B细分为另外2组;B阳性= 15,B阴性=35。 现在,我具有Par1所有访问中所有受试者的值。在可交换性的假设下,如果可以,我是否可以在Par1使用置换测试的水平之间进行比较: -将接受药物治疗的受试者与接受V2安慰剂治疗的受试者进行比较? -将具有特征A的对象与具有V2的特征B的对象进行比较? -比较在V2具有特征A的对象与在V3具有特征A的对象? -在哪种情况下,这种比较是无效的,并且违反了可交换性的假设?
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

1
为方差创建置信区间时为什么使用卡方?
这是一个非常基本的问题。为什么我们使用卡方分布?这种分布是什么意思?为什么将这种分布用于创建方差的置信区间? 我用Google搜索的每个地方都只是说明了一个事实,说明了何时使用chi,但没有说明为什么要使用chi,以及为什么会使用它。 非常感谢任何可以将我引向正确方向的人,也就是-真正理解我为方差创建置信区间时为什么使用chi的原因。

4
期望值与最可能值(模式)
分布的期望值是平均值,即加权平均值 f(x)f(x)f(x)E[x]=∫+∞−∞xf(x)dxE[x]=∫−∞+∞xf(x)dxE[x]=\int_{-\infty}^{+\infty} x \, \, f(x) dx 最可能的值是众数,即最可能的值。 但是,我们期望以某种方式看到很多次吗?从这里报价:E[x]E[x]E[x] 如果结果的概率不相等,则必须用加权平均值代替简单的平均值,这要考虑到某些结果比其他结果更有可能的事实。然而,直觉保持不变:x的期望值是人们期望平均发生的值。xixix_ixxx 我不明白“平均发生”是什么意思,这是否意味着,从长远来看,我希望花很多时间才能看到E[x]E[x]E[x]比x的其他值更多xxx?但这不是模式的定义吗? 那么如何解释该陈述?E [x]的概率含义是E[x]E[x]E[x]什么? 我还想举个例子,让我感到困惑。通过研究分布,我了解到模式 为,而,其中是数据的自由度。χ2χ2\chi^2χ2mode=ν−2χmode2=ν−2\chi^2_{mode}=\nu-2E[χ2]=νE[χ2]=νE[\chi^2]=\nuνν\nu 我在大学听说,在使用最小二乘法拟合一组数据后进行测试时,我应该期望得到因为“这通常会发生”。χ 2听,说:νχ2χ2\chi^2χ2≈νχ2≈ν\chi^2 \approx \nu 我是否误解了所有这些,或者期望值是否很有可能?(即使最可能的值当然是模式)

1
卡方特征选择到底如何工作?
我知道,对于每个要素类对,都会计算卡方统计量的值并将其与阈值进行比较。 我有点困惑。如果有特征和类,那么如何构建列联表?如何确定保留哪些功能以及删除哪些功能?米米mķķk 任何澄清将不胜感激。提前致谢

1
分布变量的已知最清晰的尾边界是什么?
令是具有自由度的卡方分布随机变量。以下概率的最明确的已知界限是什么X∼χ2kX∼χk2X \sim \chi^2_kkkk P[X&gt;t]≤1−δ1(t,k)P[X&gt;t]≤1−δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) 和 P[X&lt;z]≤1−δ2(z,k)P[X&lt;z]≤1−δ2(z,k) \mathbb{P}[X < z] \leq 1 - \delta_2(z, k) 其中和是一些函数。指向相关论文的指针将不胜感激。δ1δ1\delta_1δ2δ2\delta_2

1
伽玛和卡方分布之间的关系
如果Y=∑i=1NX2iY=∑i=1NXi2Y=\sum_{i=1}^{N}X_i^2其中Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim \mathcal{N}(0,\sigma^2),即所有XiXiX_i是独立同分布的正态随机变量的零均值与同方差,然后Y∼Γ(N2,2σ2).Y∼Γ(N2,2σ2).Y \sim \Gamma\left(\frac{N}{2},2\sigma^2\right). 我知道卡方分布是伽马分布的特例,但无法得出随机变量的卡方分布YYY。有什么帮助吗?

1
Karl Pearson是如何得出卡方统计量的?
培生(Pearson)是如何在1900年得出以下培生(Pearson)卡方统计量的? K=∑(Oij−Eij)2EijK=∑(Oij−Eij)2Eij K = \sum \frac{(O_{ij} -E_{ij})^2}{E_{ij}} 即 K∼χ2K∼χ2 K \sim \chi^2 他是否考虑过卡方并设计度量(自下而上的方法),还是他设计了统计量,后来证明它遵循卡方分布(自上而下)?KKK 我想知道为什么他选择了这种特定形式,而不选择或,以及他为什么将平方除以分母。∑(Oij−Eij)2∑(Oij−Eij)2\sum(O_{ij} -E_{ij})^2∑|Oij−Eij|∑|Oij−Eij|\sum|O_{ij} -E_{ij}|

1
测试2个经验离散分布之间的差异
我有测试数据,其中有一些来自离散分布的大型样本,这些样本被用作经验分布。我想测试分布是否实际上不同,以及那些实际上不同的分布的均值差异是什么。 由于它们是离散分布,因此我的理解是,由于潜在的连续分布假设,Kolmogorov-Smirnov检验无效。对于分布是否实际不同,Chi-Squared检验是否是正确的检验? 对于均值差异,我将使用什么测试?更好的方法是从分布中取样并获取差异,然后对差异的分布进行分析吗?

2
正方变量和卡方变量平方的卷积分布?
最近在分析数据时出现了以下问题。如果随机变量X遵循正态分布且Y遵循χ2nχn2\chi^2_n分布(其中n自由度),如何是Z=X2+Y2Z=X2+Y2Z = X^2 + Y^2分布?到现在为止我想出的PDF Y2Y2Y^2: ψ2n(x)====∂F(x−−√)∂x(∫x√0tn/2−1⋅e−t/22n/2Γ(n/2)dt)′x12n/2Γ(n/2)⋅(x−−√)n/2−1⋅e−x√/2⋅(x−−√)′x12n/2−1Γ(n/2)⋅xn/4−1⋅e−x√/2ψn2(x)=∂F(x)∂x=(∫0xtn/2−1⋅e−t/22n/2Γ(n/2)dt)x′=12n/2Γ(n/2)⋅(x)n/2−1⋅e−x/2⋅(x)x′=12n/2−1Γ(n/2)⋅xn/4−1⋅e−x/2\begin{eqnarray} \psi^2_n(x) &=& \frac{\partial F(\sqrt{x})}{\partial x} \\ &=& \left( \int_0^{\sqrt{x}} \frac{t^{n/2-1}\cdot e^{-t/2}}{2^{n/2}\Gamma(n/2)} \mathrm{d}t \right)^\prime_x \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)} \cdot \left( \sqrt{x} \right)^{n/2-1} \cdot e^{-\sqrt{x}/2} \cdot \left( \sqrt{x} \right)^\prime_x \\ &=& \frac{1}{2^{n/2-1}\Gamma(n/2)} \cdot x^{n/4-1} \cdot e^{-\sqrt{x}/2} \end{eqnarray} 以及一些简化的卷积积分(具有PDF χ 2 米,其中m自由度):X2X2X^2χ2mχm2\chi^2_m Kmn(t):===(χ2m∗ψ2n)(t)∫t0χ2m(x)⋅ψ2n(t−x)dx(2(n+m)2+1Γ(m2)Γ(n2))−1⋅∫t0(t−x)n4−1⋅xm2−1⋅exp(−(t−x−−−−√+x)/2)dxKmn(t):=(χm2∗ψn2)(t)=∫0tχm2(x)⋅ψn2(t−x)dx=(2(n+m)2+1Γ(m2)Γ(n2))−1⋅∫0t(t−x)n4−1⋅xm2−1⋅exp⁡(−(t−x+x)/2)dx\begin{eqnarray} K_{mn}(t) &:=& ( \chi^2_m …

2
如果许多单元的频率小于5,则卡方检验的适用性
为了找到同伴的支持(独立变量)和工作满意度(独立变量)之间的关联,我希望应用卡方检验。对等人的支持程度根据支持程度分为四类:1 =很少程度,2 =一定程度,3 =很大程度,4 =很大程度。工作满意度分为两类:0 =不满意和1 =满意。 SPSS的输出结果表明,有37.5%的单元频率小于5。我的样本大小为101,我不想将自变量中的类别减少为更少的数目。在这种情况下,还有其他测试可用于测试此关联吗?

3
炸弹在哪里:给定行和列的总数,如何估计概率?
这个问题的灵感来自《口袋妖怪魂银》的迷你游戏: 想象一下,在这个5x6区域隐藏了15枚炸弹(编辑:最多1枚炸弹/细胞): 现在,考虑到行/列的总数,您如何估计在特定区域找到炸弹的概率? 如果查看第5列(炸弹总数= 5),那么您可能会认为:在此列中,在第2行中找到炸弹的机会是在第1行中找到一个炸弹的机会的两倍。 直接比例性的这种(错误)假设基本上可以描述为将标准独立性测试操作(例如在Chi-Square中)引入错误的上下文中,将导致以下估计: 如您所见,直接成比例导致概率估计超过100%,甚至在此之前是错误的。 因此,我对所有可能的排列进行了计算仿真,得出了放置15枚炸弹的276种独特可能性。(给出行和列的总数) 以下是276个解决方案的平均值: 这是正确的解决方案,但是由于需要进行指数计算,因此我想找到一种估算方法。 我的问题现在是:是否有一种确定的统计方法来对此进行估算?我想知道这是否是一个已知问题,如何称呼它,以及是否有您可以推荐的论文/网站!

5
卡方可以用来比较比例吗?
我已经读过,卡方检验对于查看样本是否与一组预期值显着不同很有用。 例如,这是有关人们最喜欢的颜色的调查结果表(总共n = 15 + 13 + 10 + 17 + 55 = 55): red,blue,green,yellow 15,13,10,17 卡方检验可以告诉我该样本是否与人们喜欢每种颜色的概率相同的零假设显着不同。 问题:可以对喜欢某种颜色的总受访者的比例进行测试吗?如下所示: red,blue,green,yellow 0.273,0.236,0.182,0.309 当然,这里0.273 + 0.236 + 0.182 + 0.309 = 1。 如果在这种情况下不适合使用卡方检验,那将是什么检验?谢谢! 编辑:我在下面尝试了@RomanLuštrik的答案,并得到以下输出,为什么我没有得到p值,为什么R说“卡方近似可能不正确”? &gt; chisq.test(c(0,0,0,8,6,2,0,0),p = c(0.406197174,0.088746395,0.025193306,0.42041479,0.03192905,0.018328576,0.009190708,0)) Chi-squared test for given probabilities data: c(0, 0, 0, 8, 6, 2, 0, 0) X-squared …

1
套索的LARS与坐标下降
使用LARS [1]与使用坐标下降来拟合L1正则化线性回归有什么优缺点? 我主要对性能方面感兴趣(我的问题往往有N成千上万且p小于20。)但是,任何其他见解也将受到赞赏。 编辑:自从我发布问题以来,chl亲切地指出了Friedman等人的论文[2],其中坐标下降比其他方法快得多。如果是这样,作为执业医生,我是否应该忘掉LARS来支持协调下降? [1]埃弗隆·布拉德利;海蒂·特雷弗;约翰·斯通,伊恩和蒂布希拉尼·罗伯特(2004)。“最小角度回归”。统计年鉴32(2):第407-499页。 [2] Jerome H. Friedman,Trevor Hastie,Rob Tibshirani,“通过坐标下降的广义线性模型的正则化路径”,《统计软件》,第1卷。33,第1期,2010年2月。

1
GBM软件包与使用GBM的插入符
我一直在使用进行模型调整caret,但随后使用该gbm软件包重新运行模型。据我了解,caret程序包使用gbm的输出应相同。然而,data(iris)使用RMSE和R ^ 2作为评估指标,使用进行的快速测试显示模型中的差异约为5%。我想使用来找到最佳模型性能,caret但要重新运行gbm以利用部分依赖图。下面的代码具有可重复性。 我的问题是: 1)为什么即使这两个软件包应该相同,我仍会看到这两个软件包之间的差异(我知道它们是随机的,但5%的差异还是很大的,尤其是当我没有使用iris建模时使用的很好的数据集时) 。 2)同时使用这两个软件包有什么优点或缺点? 3)不相关:使用iris数据集时,最佳interaction.depth值为5,但高于我所阅读的最大值,使用最大值floor(sqrt(ncol(iris)))为2。这是严格的经验法则还是非常灵活? library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid &lt;- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric &lt;- "RMSE" trainControl &lt;- trainControl(method="cv", number=10) set.seed(99) gbm.caret &lt;- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm", trControl=trainControl, verbose=FALSE, tuneGrid=caretGrid, metric=metric, bag.fraction=0.75) print(gbm.caret) # …

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.