Questions tagged «probit»

Logit和Probit模型有什么区别？ 我对了解何时使用逻辑回归以及何时使用Probit更感兴趣。 如果有任何文献使用R对其进行定义，那也将有所帮助。

299 r  generalized-linear-model  logistic  probit  link-function 

我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

简洁版本： 我们知道逻辑回归和概率回归可以解释为涉及一个连续的潜在变量，该变量根据观察之前的某个固定阈值离散化。对于泊松回归，是否可以使用类似的潜在变量解释？当有两个以上的离散结果时，二项式回归（如logit或probit）怎么样？在最一般的层面上，是否有一种方法可以根据潜在变量来解释任何GLM？ 长版： 以下是激发二进制结果的概率模型的标准方法（例如，来自Wikipedia）。我们有一个不可观测的/潜在的结果变量YYY，该变量以预测变量为正态分布XXX。该潜变量经过阈值处理，因此，如果，我们实际观察到的离散结果为，如果，则。这导致给定时的概率采用正态CDF形式，均值和标准差是阈值的函数 ý ≥ γ û = 0 ý &lt; γ Xu=1u=1u=1Y≥γY≥γY \ge \gammau=0u=0u=0Y&lt;γY&lt;γY < \gammau=1u=1u=1XXXγγ\gamma和回归的斜率的。YYYXXX，分别。因此，以概率模型为动力，以此作为根据对潜在回归来估计斜率的一种方法。YYYXXX 下图来自Thissen＆Orlando（2001）。这些作者在技术上从项目响应理论上讨论正常的ogive模型，该模型对于我们的目的而言很像概率回归（请注意，这些作者使用代替，并且概率用代替了通常的）。X Ť Pθθ\thetaXXXTTTPPP 我们可以以几乎完全相同的方式解释逻辑回归。唯一不同的是，现在没有观察到连续遵循物流配送，而不是一个正态分布，给出X。关于为什么的理论论证YYYXXX可能遵循逻辑分布而不是正态分布不太清楚...但是由于实际应用（在重新缩放后）所得的逻辑曲线看起来与正态CDF基本相同，因此可以说是“不会”。在实践中，使用哪种模型往往很重要。关键是两个模型都具有非常简单明了的潜在变量解释。YYY 我想知道我们是否可以将外观相似（或地狱外观不同）的潜在变量解释应用于其他GLM 甚至任何 GLM。 即使将上述模型扩展为考虑二项式结果（即，不仅仅是伯努利结果），对我来说也不是很清楚。大概可以通过想象，我们有多个阈值（比观察到的离散结果少一个），而不是只有一个阈值γ来做到这一点。但是我们需要对阈值施加一些约束，例如阈值是均匀分布的。我很确定像这样的东西可以工作，尽管我还没有弄清楚细节。n&gt;1n&gt;1n>1γγ\gamma 对我来说，转向泊松回归的情况似乎还不清楚。我不确定阈值的概念是否将是在这种情况下考虑模型的最佳方法。我也不确定我们可以将潜在结果设想为什么样的分布。 最理想的解决方案是用具有某些分布或其他形式的潜在变量来解释任何 GLM 的通用方法-即使该通用解决方案暗示的隐式变量解释与通常的logit / probit回归解释不同。当然，如果通用方法与对logit / probit的通常解释一致，而且自然扩展到其他GLM，那会更酷。 但是，即使在一般GLM案例中通常无法使用这种潜在变量解释，我也想听听有关特殊情况（例如我上面提到的Binomial和Poisson案例）的潜在变量解释。 参考文献 Thissen，D.＆Orlando，M.（2001）。物品响应理论分为两类。在D.Thissen＆Wainer，H.（编辑）的《测试评分》（第73-140页）中。新泽西州马瓦市：Lawrence Erlbaum Associates，Inc. 编辑2016-09-23 在某种意义上，任何GLM都是潜在变量模型，这就是说我们可以始终将估计的结果分布参数视为“潜在变量”，也就是说，我们不直接观察，例如泊松的rate参数，我们只是从数据中推断出来。我认为这是一个相当琐碎的解释，并不是我真正想要的解释，因为根据这种解释，任何线性模型（当然还有许多其他模型！）都是“潜在变量模型”。例如，在正态回归中，给定正态Y的“潜伏” μμ\muYYYXXX。因此，这似乎将潜在变量建模与仅参数估计混为一谈。例如，在泊松回归的情况下，我正在寻找的东西看起来更像是一个理论模型，它说明了观察到的结果为何首先应该具有泊松分布的情况，并给出了一些假设（由您填写！）。潜在的分布，选择过程（如果有的话）等。然后（也许很关键？），我们应该能够根据这些潜在分布/过程的参数来解释估计的GLM系数，类似于我们如何根据潜在正态变量的均值漂移和/或阈值γ的均值漂移，从概率回归中解释系数。YYYγγ\gamma

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

我正在尝试使用工具变量分析来推断观测数据的因果关系。 我遇到了两阶段最小二乘（2SLS）回归，这很可能可以解决我研究中的内生性问题。但是，我希望第一阶段成为OLS，第二阶段成为2SLS中的Probit。根据我的阅读和搜索，我已经看到研究人员使用2SLS或第一阶段的Probit和第二阶段的OLS，但并非相反，这正是我想要达到的目标。 我目前正在使用Stata，并且Stata中的ivreg命令用于直接2SLS。

15 stata  probit  instrumental-variables  2sls 

如何在logit或probit模型中测试所选系数的同时相等性？什么是标准方法，什么是最新方法？

14 hypothesis-testing  logit  probit 

是否有人对偏移量在probit和logit等二进制模型中的工作原理有任何推论？ 我的问题是，后续窗口的长度可能会有所不同。假设患者接受了预防性治疗。这个镜头发生在不同的时间，所以如果结果是是否二进制指示任何的突发事，你需要调整的事实，有些人有更多的时间来展示症状。爆发的可能性似乎与随访时间的长短成正比。对我而言，数学上尚不清楚，具有偏移量的二进制模型如何捕获这种直觉（与Poisson不同）。 偏移量是Stata（p.1666）和R的标准选项，对于Poisson来说我很容易看到它，但是二进制情​​况有点不透明。 例如，如果我们有 在代数上等于模型，其中 是标准模型，上的系数限制为。这称为对数偏移量。如果我们将替换为或我很难弄清楚它是如何工作的。E[y|x]Z=exp{x′β},E[y|x]Z=exp⁡{x′β},\begin{equation} \frac{E[y \vert x]}{Z}=\exp\{x'\beta\}, \end{equation}E[y|x]=exp{x′β+logZ},E[y|x]=exp⁡{x′β+log⁡Z},\begin{equation}E[y \vert x]=\exp\{x'\beta+\log{Z}\}, \end{equation}logZlog⁡Z\log Z111exp{}exp⁡{}\exp\{\}Φ()Φ()\Phi()Λ()Λ()\Lambda() 更新＃1： 下面说明了logit情况。 更新＃2： 这是对非泊松模型（如Probit）的偏移量主要用途的解释。该偏移量可用于对指标函数系数进行似然比测试。首先，您要估算无约束模型并存储估算值。假设您要检验的假设。然后，创建变量，将模型删除并使用作为非对数偏移量进行拟合。这是约束模型。LR测试将两者进行比较，并且可以替代常规的Wald测试。βx=2βx=2\beta_x=2z=2⋅xz=2⋅xz=2 \cdot xxxxzzz

12 logit  probit  logarithm  offset 

有人告诉我，可以进行两阶段的IV回归，其中第一阶段是概率，第二阶段是OLS。如果第一阶段是一个概率模型，但是第二阶段是一个概率模型/泊松模型，是否可以使用2SLS？

12 binary-data  instrumental-variables  probit  2sls 

谁能用外行的术语解释如何计算Probit和Logit模型的边际效应？ 我是统计学新手，对这两种模型感到困惑。

12 logistic  interpretation  logit  probit 

我使用以下R代码来拟合概率模型： p1 &lt;- glm(natijeh ~ ., family=binomial(probit), data=data1) stepwise(p1, direction='backward/forward', criterion='BIC') 我想知道到底是做什么stepwise和backward/forward做什么，以及如何选择变量？

11 r  probit  stepwise-regression 

因此，我有一个二元模型，其中是潜在的不可观察变量，而y_1 \ in \ {0,1 \}在观察值中。y_2确定y_1，因此z_2是我的工具。简而言之，模型就是这样。 \ begin {eqnarray} y_1 ^ *＆=＆\ delta_1 z_1 + \ alpha_1 y_2 + u_1 \\ y_2＆=＆\ delta_ {21} z_1 + \ delta_ {22} z_2 + v_2 = \ textbf {z} \ delta + v_2 \\ y_1＆=＆\ text {1} [y ^ *&gt; 0] \ end …

10 maximum-likelihood  econometrics  probit 

我已经读到2SLS估计器即使与二进制内生变量（http://www.stata.com/statalist/archive/2004-07/msg00699.html）仍然保持一致。在第一阶段，将运行概率处理模型，而不是线性模型。 有没有正式的证据表明即使第一阶段是概率模型或对数模型，2SLS仍然是一致的？ 如果结果也是二进制，该怎么办？我知道如果我们有二进制结果和二进制内生变量（第一和第二阶段都是二进制概率/逻辑模型），则模仿2SLS方法将产生不一致的估计。是否有任何正式的证据？Wooldridge的计量经济学书进行了一些讨论，但我认为没有严格的证据来证明这种不一致。 data sim; do i=1 to 500000; iv=rand("normal",0,1); x2=rand("normal",0,1); x3=rand("normal",0,1); lp=0.5+0.8*iv+0.5*x2-0.2*x3; T=rand("bernoulli",exp(lp)/(1+exp(lp))); Y=-0.8+1.2*T-1.3*x2-0.8*x3+rand("normal",0,1); output; end; run; ****1st stage: logit model ****; ****get predicted values ****; proc logistic data=sim descending; model T=IV; output out=pred1 pred=p; run; ****2nd stage: ols model with predicted values****; proc reg data=pred1; model y=p; run; …

10 probit  instrumental-variables  endogeneity 

为了简单的示例，假设有两个线性回归模型 模型1有三个预测，x1a，x2b，和x2c 模型2具有从模型1 3个预测和两个附加的预测x2a和x2b 有一个种群回归方程，其中模型1 解释的种群方差为，模型解释为 。模型2解释的种群中的增量方差为ρ2(1)ρ(1)2\rho^2_{(1)}ρ2(2)ρ(2)2\rho^2_{(2)}Δ ρ2= ρ2（2 ）- ρ2（1 ）Δρ2=ρ(2)2−ρ(1)2\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)} 我有兴趣获取\ Delta \ rho ^ 2的估计量的标准误差和置信区间Δ ρ2Δρ2\Delta\rho^2。虽然该示例分别涉及3个和2个预测变量，但我的研究兴趣涉及大量不同数量的预测变量（例如5个和30个）。我首先想到的是使用 Δ [R2一dĴ= r2一dj （2 ）- - [R2一dĴ （1 ）Δradj2=radj(2)2−radj(1)2\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}作为估计量并进行引导，但是我不确定是否会适当的。 问题 是Δ [R2一dĴΔradj2\Delta r^2_{adj}一个合理的估计Δ ρ2Δρ2\Delta \rho^2？ 如何获得总体r平方变化的置信区间（即Δ ρ2Δρ2\Delta\rho^2）？ 引导Δ ρ2Δρ2\Delta\rho^2是否适合计算置信区间？ 任何对模拟或已发表文献的引用也将受到欢迎。 范例程式码 如果有帮助，我在R中创建了一个小的模拟数据集，可用于演示答案： …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

示例：我的职位描述中有一句话：“英国Java高级工程师”。 我想使用深度学习模型将其预测为2类：English 和IT jobs。如果我使用传统的分类模型，则只能预测softmax最后一层具有功能的标签。因此，我可以使用2个模型神经网络来预测两个类别的“是” /“否”，但是如果我们有更多类别，那就太贵了。那么，我们是否有任何深度学习或机器学习模型可以同时预测2个或更多类别？ “编辑”：使用传统方法使用3个标签，它将由[1,0,0]编码，但在我的情况下，它将由[1,1,0]或[1,1,1]编码 示例：如果我们有3个标签，并且所有这些标签都适合一个句子。因此，如果softmax函数的输出为[0.45，0.35，0.2]，我们应该将其分类为3个标签或2个标签，或者可以是一个？我们这样做的主要问题是：分类为1个，2个或3个标签的最佳阈值是多少？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

假设我有一个频率为4个可能的事件的样本： Event1 - 5 E2 - 1 E3 - 0 E4 - 12 并且我具有发生事件的预期概率： p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 利用我四个事件的观测频率之和（18），我可以计算事件的预期频率，对吗？ expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 = 1.8 expectedE1 - …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom