指数模型的估计

10

指数模型是由下面的等式所描述的模型：

\hat{y_{i}} = β_{0} \cdot e^{β_{1} x_{1 i} + \dots + β_{k} x_{k i}}

$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$

用于估计此类模型的最常见方法是线性化，可以通过计算双方的对数轻松完成。还有哪些其他方法？在某些观察中，我对那些能够处理特别感兴趣 $y_{i}=0$ 。

更新31.01.2011
我知道这个模型不能产生零的事实。我将详细说明我要建模的内容以及为什么选择此模型。假设我们要预测客户在商店中花了多少钱。当然，许多客户只是在寻找而他们什么都没买，这就是为什么有0的原因。我不想使用线性模型，因为它会产生很多负值，这毫无意义。另一个原因是该模型的确非常好，比线性模型好得多。我已经使用遗传算法估算了这些参数，因此它不是“科学”的方法。现在，我想知道如何使用更科学的方法来解决问题。也可以假设大多数或什至所有变量都是二进制变量。

estimation nonlinear-regression

— 托梅克·塔钦斯基（Tomek Tarczynski）
source

1

如果您的数据为零，则指数回归可能不合适，因为您所声明的模型无法观察到零值。

— mpiktas 2011年

11

这里有几个问题。

（1）模型必须是明确概率的。在几乎所有情况下，对于所有数据，都没有 lhs与rhs匹配的参数集：会有残差。您需要对这些残差进行假设。您是否期望它们平均为零？要对称分布吗？要近似正态分布吗？

这里有两个模型与指定的模型一致，但允许的残余行为截然不同（因此通常会导致不同的参数估计值）。您可以通过改变关于的联合分布的假设来改变这些模型： $\epsilon_{i}$

A: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i} + ϵ_{i})

$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$

B: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i}) + ϵ_{i} .

$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$

（请注意，这些是数据模型；通常不存在估计数据值。） $y_i$ $\hat{y_i}$

（2）需要为y处理零值意味着所陈述的模型（A）是错误而且不充分的，因为无论随机误差等于什么，它都不能产生零值。上面的第二个模型（B）允许y的值为零（甚至为负）。但是，不应仅在这样的基础上选择模型。重申一：重要的是要合理地对错误建模。

（3）线性化改变模型。通常，它生成的模型类似于（A），但不类似于（B）。对其进行了足够的数据分析的人员（知道此更改不会明显影响参数估计值）以及不了解正在发生的情况的人员都使用此方法。（很难说出区别。）

（4）处理零值可能性的一种常见方法是建议（或其某些重新表达，例如平方根）具有等于零的严格正机会。在数学上，我们将点质量（“增量函数”）与其他一些分布混合在一起。这些模型如下所示： $y$

\begin{aligned} f (y_{i}) & \sim F (θ); \\ θ_{j} & = β_{j 0} + β_{j 1} x_{1 i} + \dots + β_{j k} x_{k i} \end{aligned}

$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$

$\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$ $\mathbf{\theta}$ $F$ $\theta_1, \ldots, \theta_j$ $f$ $y$ $\Pr_{F_\theta}[f(Y) \le t]$ $(1 - \theta_{j+1})F_\theta(t)$ $t \ne 0$

（5）建立模型和拟合模型的问题是相关但不同的。举一个简单的例子，即使是普通的回归模型也可以通过最小二乘法以多种方式进行拟合（与最大似然法具有相同的参数估计，并且几乎具有相同的标准误差），迭代地加权最小二乘法，各种其他形式的“ 健壮最小二乘法 ”等。适合的选择通常基于便利性，权宜性（例如，软件的可用性），熟悉程度，习惯或约定，但至少应考虑一些给定什么适合于误差项的假定分布，给什么 $Y = \beta_0 + \beta_1 X + \epsilon$ $\epsilon_i$ 该问题的损失函数可能是合理的，并且有可能利用其他信息（例如，参数的先前分布）。

— ub
source

10

这是具有对数链接功能的广义线性模型（GLM）。

在某些观察中，具有非零密度的任何概率分布都将处理；最常见的是Poisson分布，从而导致Poisson回归（又称对数线性建模）。另一个选择是负二项式分布。 $[0,\infty)$ $y_i=0$

如果您没有计数数据，或者 $y_i$ 采用非整数值，你仍然可以使用的广义线性模型的框架，而不完全指定的分布，而是仅使用准似然法指定其均值和方差之间的关系。 $\operatorname{P}(y_i|\bf{x})$

— 一站
source

不好意思，我还没有在大学里教过：/看起来在这种情况下会有所帮助，但是我需要一些时间来深入了解细节。谢谢！

— Tomek Tarczynski，

请注意，当合理时，始终可以将其缩放为整数值，例如，以便士/分而不是英镑/美元为单位。尽管您可能还是想四舍五入到最接近的英镑/美元，因为商品价格中的便士/美分分布可能很不均匀（即大部分为99）。

y_{i}

$y_i$

— 詹姆斯

3

您可以随时使用非线性最小二乘法。那么您的模型将是：

y_{i} = β_{0} \exp (β_{1} x_{1 i} + . . . + β_{k} x_{k i}) + ε_{i}

$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$

然后，将的零视为与非线性趋势的偏差。 $y_i$

— mpiktas
source

参数的初始值如何？选择它们的好方法是什么？正如我在更新中所述，可以假定没有连续变量。

— Tomek Tarczynski 2011年

@Tomek，我认为没有一种选择它们的好方法。通常，它取决于数据。我建议截距为均值，其他系数为零。

— mpiktas，2011年