Questions tagged «categorical-data»

我有一个既包含连续数据又包含分类数据的数据集。我正在使用PCA进行分析，想知道是否可以将分类变量作为分析的一部分。我的理解是PCA只能应用于连续变量。那是对的吗？如果不能将其用于分类数据，则可以使用哪些替代方法进行分析？

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

我有一个包含许多观察结果和许多变量的数据框。其中一些是分类的（无序），其他是数字的。 我正在寻找这些变量之间的关联。我已经能够计算数值变量的相关性（斯皮尔曼相关性），但是： 我不知道如何测量无序分类变量之间的相关性。 我不知道如何测量无序分类变量和数值变量之间的相关性。 有谁知道该怎么做？如果是这样，是否有R函数实现这些方法？

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

我有一个名义变量（不同的会话主题，编码为topic0 = 0等）和一些比例变量（DV），例如会话的长度。 如何得出标称变量和比例变量之间的相关性？

77 correlation  continuous-data  categorical-data 

我开始与使用的涉猎glmnet与LASSO回归那里我感兴趣的结果是二分。我在下面创建了一个小的模拟数据框： age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

有哪些技术可用于将多个类别折叠（或合并）成几个类别，以便在统计模型中将它们用作输入（预测变量）？ 考虑像大学生专业这样的变量（由本科生选择的学科）。它是无序的和绝对的，但它可能具有许多不同的层次。假设我想在回归模型中使用major作为预测变量。 按原样使用这些级别进行建模会导致各种问题，因为存在的问题太多了。使用它们会丢弃很多统计精度，并且结果难以解释。我们很少对特定专业感兴趣-我们更可能对广泛的专业类别（子组）感兴趣。但是，并不总是很清楚如何将这些级别划分为这些更高级别的类别，或者甚至要使用多少个更高级别的类别。 对于典型数据，我很乐意使用因子分析，矩阵分解或离散的潜在建模技术。但是专业是互斥的类别，因此我不愿意在任何事情上利用它们的协方差。 此外，我自己并不关心主要类别。我关心产生与我的回归结果相关的更高层次的类别。在二元结果的情况下，对我而言，这建议使用诸如线性判别分析（LDA）之类的方法来生成可最大化判别性能的高级类别。但是LDA是一种受限制的技术，感觉像是肮脏的数据正在挖给我。而且，任何连续的解决方案都将难以解释。 同时，在这种情况下，基于协方差的东西（如多重对应分析（MCA））在我看来是令人怀疑的，因为互斥的虚拟变量之间存在内在的依赖关系-它们更适合用于研究多个类别变量，而不是研究多个类别变量相同的变量。 编辑：要清楚，这是关于折叠类别（不选择它们），并且类别是预测变量或自变量。事后看来，这个问题似乎是“正规化所有事物并让上帝整理出它们的合适时机”。很高兴看到这个问题对很多人都感兴趣！

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

在回答有关离散数据和连续数据的问题时，我断言，将分类数据视为连续数据很少有意义。 从表面上看，这似乎是不言而喻的，但是直觉通常不是一个很好的统计指南，或者至少是我的。所以现在我在想：这是真的吗？还是已经建立了从分类数据到某个连续体的转换实际上有用的分析？如果数据是序数会有所不同吗？

57 categorical-data  data-transformation  ordinal-data  continuous-data 

编码分类变量有两种不同的方法。假设一个分类变量具有n个值。一键编码将其转换为n个变量，而伪编码将其转换为n-1个变量。如果我们有k个分类变量，每个分类变量都有n个值。一种热编码以kn个变量结束，而伪编码以kn-k个变量结束。 我听说对于一键编码，拦截会导致共线性问题，这会使模型不可靠。有人称其为“ 虚拟变量陷阱 ”。 我的问题： Scikit-learn的线性回归模型允许用户禁用拦截。因此，对于一键编码，我应该始终设置fit_intercept = False吗？对于虚拟编码，fit_intercept应该始终设置为True吗？我在网站上没有看到任何“警告”。 由于一键编码会生成更多变量，因此它是否比伪编码具有更大的自由度？

50 regression  categorical-data  data-transformation  scikit-learn  data-preprocessing 

什么是合适的图来说明两个序数变量之间的关系？ 我能想到的几种选择： 散点图，添加了随机抖动以使停止点彼此隐藏。显然是标准图形-Minitab将其称为“个体值图”。在我看来，这可能会产生误导，因为它在视觉上鼓励在序数级别之间进行线性插值，就好像数据来自间隔刻度。 调整散点图，以便点的大小（面积）代表级别组合的频率，而不是为每个采样单位绘制一个点。我偶尔在实践中看到过这样的情节。它们可能很难阅读，但是这些点位于规则排列的点阵上，这在一定程度上克服了对抖动分散图的批评，即它在视觉上“使数据间隔”。 特别是，如果将变量之一视为因变量，则按独立变量级别分组的箱形图。如果因变量的级别数不够高（非常“平坦”，缺少晶须或什至更糟的四分位数塌陷，使得无法通过视觉识别中位数），则可能看起来很糟糕，但是至少引起了人们对中位数和四分位数的关注序数变量的相关描述统计量。 带有热图以指示频率的单元格值表或空白网格。视觉上与散点图不同，但从概念上讲类似于散点图，点区域显示频率。 还有其他想法，或关于哪种情节更可取的想法？是否有某些研究领域将某些序数对纵坐标图视为标准？（我似乎还记得频率热图在基因组学中很普遍，但我怀疑频率相对于标称值与标称值更常见。）我也很希望从Agresti那里获得有关好的标准参考的建议。 如果有人想用图解来说明，则可以使用伪造样本数据的R代码。 “锻炼对您有多重要？” 1 =一点都不重要，2 =一点都不重要，3 =既不重要也不重要，4 =有点重要，5 =非常重要。 “您多长时间定期跑步10分钟或更长时间？” 1 =永不，2 =每两周少于一次，3 =每1或2周一次，4 =每周2或3次，5 =每周4次或更多。 如果将“经常”视为一个因变量而将“重要性”视为一个自变量是很自然的话，则可以用图来区分两者。 importance <- rep(1:5, times = c(30, 42, 75, 93, 60)) often <- c(rep(1:5, times = c(15, 07, 04, 03, 01)), #n=30, importance 1 rep(1:5, times = c(10, …

46 data-visualization  categorical-data  ordinal-data  scatterplot 

什么究竟是对比矩阵（一个术语，关于与分类预测分析），以及如何准确地进行对比矩阵指定？即什么是列，什么是行，对该矩阵的约束是什么，列j和行中的数字i是什么意思？我试图研究文档和网络，但似乎每个人都在使用它，但任何地方都没有定义。我可以对可用的预定义对比进行后向工程，但是我认为没有该定义就应该可用。 > contr.treatment(4) 2 3 4 1 0 0 0 2 1 0 0 3 0 1 0 4 0 0 1 > contr.sum(4) [,1] [,2] [,3] 1 1 0 0 2 0 1 0 3 0 0 1 4 -1 -1 -1 > contr.helmert(4) [,1] [,2] [,3] 1 -1 …

46 regression  categorical-data  definition  contrasts  categorical-encoding 

我想找到连续变量（因变量）和分类变量（标称：性别，自变量）之间的相关性。连续数据不是正态分布。在此之前，我已经使用Spearman的进行了计算。但是，有人告诉我这是不对的。ρρ\rho 在互联网上搜索时，我发现箱线图可以提供有关它们之间关联程度的想法；但是，我一直在寻找量化值，例如Pearson的乘积矩系数或Spearman的。您能帮我怎么做吗？或者，告知哪种方法合适？ρρ\rho 双峰系数会是正确的选择吗？

41 correlation  categorical-data  descriptive-statistics  biostatistics  spearman-rho 

我有显示消防员入学考试结果的数据。我正在检验考试结果和种族不是相互独立的假设。为了对此进行测试，我在R中运行了Pearson卡方检验。结果显示了预期的结果，但警告“” In chisq.test(a) : Chi-squared approximation may be incorrect。 > a white black asian hispanic pass 5 2 2 0 noShow 0 1 0 0 fail 0 2 3 4 > chisq.test(a) Pearson's Chi-squared test data: a X-squared = 12.6667, df = 6, p-value = 0.04865 Warning message: In chisq.test(a) …

40 r  categorical-data  chi-squared  small-sample  error-message 

我正在使用一个包含200,000多个样本和每个样本约50个特征的数据集：10个连续变量，另外约40个是类别变量（国家，语言，科学领域等）。对于这些分类变量，您有150个不同的国家/地区，50种语言，50个科学领域等。 到目前为止，我的方法是： 对于具有许多可能值的每个类别变量，仅采用具有超过10000个样本的值作为该变量。这将减少到5-10个类别，而不是150个类别。 为每个类别建立虚拟变量（如果有10个国家，则为每个样本添加大小为10的二元向量）。 用此数据输入随机森林分类器（交叉验证参数等）。 目前，使用这种方法，我只能获得65％的准确度，并且我认为可以做得更多。尤其是我对1）感到不满意，因为我觉得我不应该根据他们拥有的样本数量随意删除“最不相关的值”，因为这些表示较少的值可能更具区分性。另一方面，我的RAM无法通过保留所有可能的值向数据添加500列* 200000行。 您有什么建议要应对这么多的分类变量吗？

37 machine-learning  classification  categorical-data  random-forest  many-categories 

可以说，我们有一个因变量，其类别和自变量集很少。 ÿYY 相对于二元logistic回归集（即one-vs-rest方案），多项logistic回归有什么优势？通过组的二元逻辑回归我的意思是为每个类别我们建立单独的二元逻辑回归模型与目标= 1时Ŷ = ÿ 我，否则为0。ÿ一世∈ ÿyi∈Yy_{i} \in Yÿ= y一世Y=yiY=y_{i}

36 logistic  categorical-data  multinomial 

亲爱的大家-我注意到我无法解释的怪事，可以吗？总之：在logistic回归模型中计算置信区间的手动方法和R函数confint()得出不同的结果。 我一直在研究Hosmer＆Lemeshow的Applied Logistic回归（第二版）。在第3章中，有一个计算比值比和95％置信区间的示例。使用R，我可以轻松地重现模型： Call: glm(formula = dataset$CHD ~ as.factor(dataset$dich.age), family = "binomial") Deviance Residuals: Min 1Q Median 3Q Max -1.734 -0.847 -0.847 0.709 1.549 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -0.8408 0.2551 -3.296 0.00098 *** as.factor(dataset$dich.age)1 2.0935 0.5285 3.961 7.46e-05 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials