Questions tagged «logistic»

我的问题是：Beta分布与逻辑回归模型的系数之间的数学关系是什么？ 为了说明： logistic（Sigmoid）函数由下式给出 f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} 它用于对逻辑回归模型中的概率进行建模。设为二分式评分结果，为设计矩阵。逻辑回归模型由下式给出AAA(0,1)(0,1)(0,1)XXX P(A=1|X)=f(Xβ).P(A=1|X)=f(Xβ).P(A=1|X) = f(X \beta). 注意XXX的第一列为常数111（截距），ββ\beta为回归系数的列向量。例如，当我们有一个（标准正态）回归变量xxx并选择β0=1β0=1\beta_0=1（拦截）和β1=1β1=1\beta_1=1，我们可以模拟所得的“概率分布”。 此图使人想起了密度由下式给出的Beta分布（与其他选择的图一样）。ββ\beta g(y;p,q)=Γ(p)Γ(q)Γ(p+q)y(p−1)(1−y)(q−1).g(y;p,q)=Γ(p)Γ(q)Γ(p+q)y(p−1)(1−y)(q−1)。g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}. 使用最大似然或矩量方法，可以根据的分布估算和。因此，我的问题归结为：与和选择之间是什么关系？首先，这解决了上面给出的双变量情况。q P （甲= 1 | X ）β p qpppqqqP（A = 1 |X）P(一种=1|X）P(A=1|X)ββ\betapppqqq

16 regression  logistic  mathematical-statistics  beta-distribution 

图1.物流功能 图2. S形函数 它更像是广义的S形函数，在其中您可以具有更高的最大值吗？

16 logistic 

我发现了判别分析的一些优点，对此我也有疑问。所以： 当这些类很好地分开时，逻辑回归的参数估计出乎意料地不稳定。系数可能达到无穷大。LDA不会遭受此问题的困扰。 如果特征数量少并且每个类别中的预测变量的分布 近似正态，则线性判别模型比逻辑回归模型更加稳定。XXX 什么是稳定性，为什么重要？（如果逻辑回归能够很好地完成工作，那么为什么我要关心稳定性？） 当我们有两个以上的响应类时，LDA很流行，因为它还提供了数据的低维视图。 我只是不明白。LDA如何提供低维视图？ 如果您可以命名更多利弊，那将是很好的。

16 regression  logistic  multivariate-analysis  discriminant-analysis 

我在R中使用glm建立了逻辑回归模型。我有两个自变量。如何在两个变量的散点图中绘制模型的决策边界。例如，如何绘制像这样的图：http : //onlinecourses.science.psu.edu/stat557/node/55 谢谢。

16 r  logistic 

我认为我对Logistic回归中的功能如何工作（或者可能只是整体功能）有一些根本的困惑。 函数h（x）如何产生在图像左侧看到的曲线？ 我看到这是两个变量的图，但是这两个变量（x1和x2）也是函数本身的参数。我知道一个变量的标准函数映射到一个输出，但是此函数显然没有做到这一点-我不确定为什么。 我的直觉是，蓝色/粉红色曲线并没有真正绘制在该图上，而是一种表示形式（圆圈和X），它们映射到该图的下一个维度（第3个）中的值。这是错误的推理吗，我只是错过了什么吗？感谢您的任何见解/直觉。

15 logistic  data-visualization  function 

我正在尝试使用lme4::glmer()二项式广义混合模型（GLMM）来拟合因变量，该因变量不是二进制的，而是介于零和一之间的连续变量。可以将这个变量视为一种可能性；实际上，这是人类受试者报告的概率（在我帮助分析的实验中）。也就是说，它不是 “离散”分数，而是连续变量。 我的glmer()电话无法正常工作（请参阅下文）。为什么？我能做什么？ 稍后编辑：我的以下回答比该问题的原始版本更笼统，因此我也将该问题修改为更笼统。 更多细节 显然，不仅可以对二进制DV使用逻辑回归，而且还可以对零和一之间的连续DV使用逻辑回归。的确，当我跑步时 glm(reportedProbability ~ a + b + c, myData, family="binomial") 我收到警告消息 Warning message: In eval(expr, envir, enclos) : non-integer #successes in a binomial glm! 但是非常合理的拟合（所有因素都是分类的，因此我可以轻松地检查模型预测是否接近跨学科平均水平，并且接近）。 但是，我实际要使用的是 glmer(reportedProbability ~ a + b + c + (1 | subject), myData, family="binomial") 它给了我同样的警告，返回了一个模型，但是这个模型显然有很大的缺陷。固定效应的估计值与固定效应的估计值相距甚远glm()。（而且我需要包含glmerControl(optimizer="bobyqa")在glmer通话中，否则它根本不会收敛。）

15 r  logistic  mixed-model  glmm  lme4-nlme 

我正在通过caretR中的程序包尝试使用梯度增强机算法。 使用一个小的大学录取数据集，我运行了以下代码： library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

假设我们遇到以下问题： 预测未来3个月内最有可能停止在我们商店购物的客户。 对于每个客户，我们都知道他们开始在我们的商店购买商品的月份，此外，我们还具有每月汇总的许多行为功能。“老大”的客户已经买了五十个月了。让我们表示自客户开始通过（）开始购买以来的时间。可以假设客户数量很大。如果客户停止购买三个月然后又回来，则将其视为新客户，因此一个事件（停止购买）只能发生一次。tttt∈[0,50]t∈[0,50]t \in [0, 50] 我想到了两种解决方案： Logistic回归 -对于每个客户和每个月（可能是最近三个月除外），我们可以说客户是否停止购买，因此我们可以对每个客户和每个月进行一次观察。我们可以将自开始以来的月数用作分类变量，以获取等效的基本危害函数。 扩展Cox模型 -也可以使用扩展Cox模型对该问题进行建模。看来这个问题更适合生存分析。 问题：在类似问题中进行生存分析有哪些优势？生存分析是出于某种原因而发明的，因此必须具有一定的优势。 我对生存分析的知识不是很深，我认为使用逻辑回归也可以实现Cox模型的大多数潜在优势。 可以使用ttt和分层变量的相互作用获得等效的分层Cox模型。 可以通过将种群分为几个亚群并为每个亚群估计LR来获得交互作用Cox模型。 我看到的唯一好处是Cox模型更加灵活。例如，我们可以轻松地计算出客户6个月后停止购买的可能性。

15 logistic  survival  cox-model 

我一直在考虑这个问题。用于模拟二进制数据的常用逻辑函数为： 然而，logit函数是S形曲线，始终是建模数据的最佳选择？也许您有理由相信您的数据不遵循正常的S形曲线，而是具有域的另一种类型的曲线。log(p1−p)=β0+β1X1+β2X2+…log⁡(p1−p)=β0+β1X1+β2X2+… \log\left(\frac{p}{1-p}\right)=\beta_0+\beta_1X_1+\beta_2X_2+\ldots (0,1)(0,1)(0,1) 是否对此有任何研究？也许您可以将其建模为Probit函数或类似的函数，但是如果它完全是其他函数呢？这样可以更好地估计效果吗？只是我的想法，我想知道是否对此有任何研究。

15 logistic  references  link-function 

在我的项目中，我想创建一个逻辑回归模型来预测二进制分类（1或0）。 我有15个变量，其中2个是分类变量，其余的则是连续变量和离散变量的混合。 为了适应逻辑回归模型，建议我使用SVM，感知器或线性编程检查线性可分离性。这与此处提出的有关线性可分离性测试的建议有关。 作为机器学习的新手，我了解上述算法的基本概念，但从概念上讲，我很难想象如何分离具有多个维度（例如15个）的数据。 在线资料中的所有示例通常都显示两个数值变量（高度，重量）的二维图，这些二维变量在类别之间显示出明显的差距，并且易于理解，但在现实世界中，数据通常具有更高的维度。我一直被虹膜数据集吸引，试图通过这三个物种拟合一个超平面，以及如何在两个物种之间做到这一点特别困难，即使不是不可能，这两个类现在也让我无法幸免。 当我们具有更高的维数时，如何假设当我们超过一定数量的特征时，我们使用内核映射到更高的维空间以实现这种可分离性，这是怎么实现的？ 同样为了测试线性可分离性，使用的度量标准是什么？是SVM模型的准确性，即基于混淆矩阵的准确性吗？ 任何有助于更好地理解该主题的帮助将不胜感激。下面也是我的数据集中两个变量的图的样本，它显示了这两个变量的重叠程度。

15 machine-learning  logistic  classification  svm  separation 

在线性回归（平方损失）中，使用矩阵，我们对目标有一个非常简洁的表示法 minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 其中AAA是数据矩阵，xxx是系数，bbb是响应。 Logistic回归目标是否有类似的矩阵符号？我见过的所有符号都不能消除所有数据点的总和（像∑dataLlogistic(y,βTx)∑dataLlogistic(y,βTx)\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)）。 编辑：感谢joceratops和AdamO的出色回答。他们的回答使我意识到线性回归具有更简洁的表示法的另一个原因是因为规范的定义封装了平方和或。但是在逻辑损失中，没有这样的定义，这使表示法有点复杂。e⊤ee⊤ee^\top e

15 regression  logistic  linear-model  notation 

我正在尝试sklearn使用glmnetR中的包复制逻辑回归库的结果。 sklearn分w ^ ，Ç1个2wŤw + C∑我= 1ñ日志（exp（- ÿ一世（XŤ一世w + c ））+ 1 ）分w，C1个2wŤw+C∑一世=1个ñ日志⁡（经验值⁡（-ÿ一世（X一世Ťw+C））+1个）\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) 从的渐近点来看glmnet，它的实现将成本函数 分β，β0− [ 1ñ∑我= 1ñÿ一世（β0+ xŤ一世β）- 日志（1 + e（β0+ xŤ一世β））] + λ [ （α - 1 ）| | β| |22/ 2+α | | β| |1个]分β，β0-[1个ñ∑一世=1个ñÿ一世（β0+X一世Ťβ）-日志⁡（1个+Ë（β0+X一世Ťβ））]+λ[（α-1个）||β||22/2+α||β||1个]\min_{\beta, \beta_0} -\left[\frac1N \sum_{i=1}^N y_i(\beta_0+x_i^T\beta)-\log(1+e^{(\beta_0+x_i^T\beta)})\right] + …

15 r  logistic  python  scikit-learn  glmnet 

我很难在逻辑回归中得出目标函数的Hessian，其中为： l(θ)l(θ)l(\theta)l(θ)l(θ)l(\theta)l(θ)=∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]l(θ)=∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))] l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right] hθ(x)hθ(x)h_\theta(x)是逻辑函数。粗体字是。我试图通过计算来导出它，但是对于我来说，如何从转换为矩阵符号并不明显。XTDXXTDXX^T D X∂2l(θ)∂θi∂θj∂2l(θ)∂θi∂θj\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}∂2l(θ)∂θi∂θj∂2l(θ)∂θi∂θj\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j} 有人知道推导X ^ TDX的任何简便方法XTDXXTDXX^T D X吗？

15 logistic 

我最近通过电子邮件收到了以下问题。我将在下面发布答案，但是我很想听听其他人的想法。 您是否将逻辑回归称为非参数检验？我的理解是仅仅标记测试非参数是不够的，因为它的数据不是正态分布的。这更多与缺乏假设有关。逻辑回归确实有假设。

15 hypothesis-testing  logistic  nonparametric 

我有一个数据集，其中事件率非常低（40,000总分）。我正在对此进行逻辑回归。我曾与某人讨论过，结果表明逻辑回归不会在如此低的事件发生率数据上提供良好的混淆矩阵。但是由于业务问题及其定义方式，尽管我同意可以删除一些非事件人口，但我无法将事件数从40,000增加到任何更大的数目。12 ⋅ 10512⋅10512\cdot10^5 请告诉我您对此的看法，特别是： Logistic回归的准确性是否取决于事件发生率，或者是否建议任何最低事件发生率？ 是否有用于低事件发生率数据的特殊技术？ 删除非事件总体是否对模型的准确性有利？ 我是统计建模的新手，请原谅我的无知，请解决我可能想到的任何相关问题。 谢谢，

15 logistic