Questions tagged «discriminant-analysis»

我正在努力解决线性判别分析和Logistic回归之间的统计差异。我的理解是正确的，对于两类分类问题，LDA预测了两个法线密度函数（每个类一个），它们在它们相交处创建了线性边界，而逻辑回归仅预测了两类之间的对数奇数函数。创建一个边界，但不为每个类假设密度函数？

36 regression  logistic  classification  discriminant-analysis 

我使用来自scikit-learn机器学习库（Python）的线性判别分析（LDA）进行降维，并对结果有些好奇。我现在想知道LDA scikit-learn正在做什么，以便使结果看起来不同于例如手动方法或R中完成的LDA。如果有人可以在这里给我一些见解，那将是非常不错的。 基本上最令人担忧的是，该图scikit-plot显示了两个变量之间的相关性，其中应该有一个相关性0。 为了进行测试，我使用了虹膜数据集，前两个线性判别式如下所示： IMG-1。通过scikit-learn进行LDA 这基本上与我在scikit-learn 文档中找到的结果一致。 现在，我逐步进行了LDA，并得到了不同的预测。我尝试了不同的方法，以了解发生了什么事情： IMG-2。基于原始数据的LDA（无中心，无标准化） 如果我先对数据进行标准化（z分数归一化；单位方差），这将是分步方法。我只用均值中心进行了相同的操作，这应该导致相同的相对投影图像（并且确实如此）。 IMG-3。均值居中或标准化后的逐步LDA IMG-4。R中的LDA（默认设置） 我将数据居中的IMG-3中的LDA（这将是首选方法）看起来也与我在R中执行LDA的人在帖子中找到的LDA完全相同 参考代码 我不想将所有代码粘贴到这里，但是我将其作为IPython笔记本上传到这里，该笔记本分为我用于LDA投影的几个步骤（请参见下文）。 步骤1：计算d维平均向量mi=1ni∑x∈Dinxkmi=1ni∑x∈Dinxk\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k 步骤2：计算散点矩阵 2.1类内散布矩阵由以下等式计算：SWSWS_W SW=∑i=1cSi=∑i=1c∑x∈Din(x−mi)(x−mi)TSW=∑i=1cSi=∑i=1c∑x∈Din(x−mi)(x−mi)TS_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T 2.2类间散布矩阵由以下公式计算： 其中是整体平均值。SBSBS_B SB=∑i=1cni(mi−m)(mi−m)TSB=∑i=1cni(mi−m)(mi−m)TS_B …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

谁能解释差异并给出具体示例如何使用这三种分析？ LDA-线性判别分析 FDA-Fisher的判别分析 QDA-二次判别分析 我到处搜索，但找不到具有真实值的真实示例来查看如何使用这些分析和计算数据，只有大量公式，如果没有任何真实示例就很难理解。我试图理解，很难区分哪些方程式/公式属于LDA，哪些属于FDA。 例如，假设有这样的数据： x1 x2 class 1 2 a 1 3 a 2 3 a 3 3 a 1 0 b 2 1 b 2 2 b 并说一些测试数据： x1 x2 2 4 3 5 3 6 那么，如何通过这三种方法使用此类数据？最好看看如何手动计算所有内容，而不是使用一些数学软件包来计算幕后的所有内容。 PS我只找到了本教程：http : //people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA。它显示了如何使用LDA。

26 classification  discriminant-analysis 

PCA，LDA，CCA和PLS有何关系？它们似乎都是“谱”和线性代数，并且非常好理解（例如围绕它们建立了50多年的理论）。它们用于非常不同的事物（用于降维的PCA，用于分类的LDA，用于回归的PLS），但它们仍然感觉非常紧密。

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

假设我有一个监督统计分类任务的数据集，例如通过贝叶斯分类器。该数据集包含20个特征，我想通过降维技术将其简化为2个特征，例如主成分分析（PCA）和/或线性判别分析（LDA）。 两种技术都将数据投影到较小的特征子空间上：使用PCA，我将找到使数据集中方差最大化的方向（分量）（不考虑类标签），而使用LDA，我将具有使两者之间的最大化的分量。级分离。 现在，我想知道是否可以，如何以及为什么可以结合使用这些技术，以及是否有意义。 例如： 通过PCA转换数据集并将其投影到新的2D子空间中 通过LDA转换（已经PCA转换的）数据集，最大 班级分离 要么 跳过PCA步骤并使用LDA的前2个组件。 或任何其他有意义的组合。

25 classification  pca  regularization  discriminant-analysis  overfitting 

回归和线性判别分析（LDA）之间有关系吗？它们有什么异同？如果有两个班级或两个以上班级，这有什么区别吗？

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

在本文中 ，作者将线性判别分析（LDA）链接到主成分分析（PCA）。以我的有限知识，我无法理解LDA如何与PCA有点相似。 我一直认为LDA是分类算法的一种形式，类似于逻辑回归。我将对理解LDA与PCA的相似之处（即它如何降低维度）有一些帮助。

19 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

我从《统计学习的要素》中看到了带有决策边界的LDA（线性判别分析）图： 我知道数据被投影到较低维的子空间上。但是，我想知道我们如何在原始维度上获得决策边界，以便可以将决策边界投影到较低维度的子空间上（如上图中的黑线）。 是否可以使用公式来计算原始（较高）维度中的决策边界？如果是，那么此公式需要哪些输入？

19 r  references  discriminant-analysis 

在几个地方，我看到一种说法，即MANOVA就像ANOVA加上线性判别分析（LDA）一样，但是它总是以挥舞自如的方式进行的。我想知道这到底是什么意思。 我找到了各种各样的教科书，描述了MANOVA计算的所有细节，但是似乎很难找到不是统计学家的人可以进行好的一般讨论（更不用说图片了）。

18 anova  discriminant-analysis  manova 

第91页上的“统计学习的要素”中有一些词： p维输入空间中的K个质心跨度最多为K-1维子空间，并且如果p比K大得多，则维数将显着下降。 我有两个问题： 为什么p维输入空间中的K个质心最多跨越K-1维子空间？ K重心如何定位？ 书中没有任何解释，我也没有从相关论文中找到答案。

18 machine-learning  discriminant-analysis 

在中R，我使用lda库中的函数MASS进行分类。据我了解LDA，输入将被分配标签，这将最大化，对吗？XXxÿÿyp （ÿ| X）p（ÿ|X）p(y|x) 但是当我拟合其中我不太了解的输出， x=(Lag1,Lag2 ）X=（大号一种G1，大号一种G2）x=(Lag1,Lag2)ÿ= d 我ř Ë Ç 吨我Ò Ñ ，ÿ=d一世[RËCŤ一世Øñ，y=Direction,lda 编辑：要重现下面的输出，请首先运行： library(MASS) library(ISLR) train = subset(Smarket, Year < 2005) lda.fit = lda(Direction ~ Lag1 + Lag2, data = train) > lda.fit Call: lda(Direction ~ Lag1 + Lag2, data = train) Prior probabilities of groups: Down Up 0.491984 …

17 r  discriminant-analysis  inference 

我正在训练具有8类数据的多类LDA分类器。 进行培训时，我收到以下警告：“ 变量是共线的 ” 我的训练准确率超过90％。 我在Python中使用scikits-learn库来训练和测试Multi-class数据。 我也得到了不错的测试准确性（大约85％-95％）。 我不明白错误/警告的意思。请帮帮我。

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

我发现了判别分析的一些优点，对此我也有疑问。所以： 当这些类很好地分开时，逻辑回归的参数估计出乎意料地不稳定。系数可能达到无穷大。LDA不会遭受此问题的困扰。 如果特征数量少并且每个类别中的预测变量的分布 近似正态，则线性判别模型比逻辑回归模型更加稳定。XXX 什么是稳定性，为什么重要？（如果逻辑回归能够很好地完成工作，那么为什么我要关心稳定性？） 当我们有两个以上的响应类时，LDA很流行，因为它还提供了数据的低维视图。 我只是不明白。LDA如何提供低维视图？ 如果您可以命名更多利弊，那将是很好的。

16 regression  logistic  multivariate-analysis  discriminant-analysis 

在判别分析中，因变量是分类变量，但是在线性判别分析中，我可以使用分类变量（例如居住状况：农村，城市）以及其他一些连续变量作为自变量吗？

15 logistic  categorical-data  discriminant-analysis  regression-strategies 

我对PCA和LDA方法很不满意，但我陷入了困境，我感到它是如此简单以至于看不到它。 类内（）和类间（）散布矩阵定义为：小号乙SWSWS_W小号乙SBS_B 小号w ^= ∑我= 1C∑t = 1ñ（x一世Ť- μ一世）（x一世Ť- μ一世）ŤSW=∑i=1C∑t=1N(xti−μi)(xti−μi)T S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T 小号乙= ∑我= 1Cñ（μ一世- μ ）（μ一世- μ ）ŤSB=∑i=1CN(μi−μ)(μi−μ)T S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T 总散射矩阵给出为：小号ŤSTS_T 小号Ť= ∑我= 1C∑t = 1ñ（x一世Ť- μ ）（X一世Ť- μ ）Ť= Sw ^+ S乙ST=∑i=1C∑t=1N(xti−μ)(xti−μ)T=SW+SB S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + …

14 discriminant-analysis