以泰勒级数的期望值（尤其是余数）

42

我的问题涉及试图证明一种广泛使用的方法的合理性，即采用泰勒级数的期望值。假设我们有一个随机变量 $X$ 与正平均 $\mu$ 和方差 $\sigma^2$ 。另外，我们有一个函数，例如 $\log(x)$ 。

这样做的泰勒展开 $\log X$ 围绕平均值，我们得到

\log X = \log μ + \frac{X - μ}{μ} - \frac{1}{2} \frac{(X - μ)^{2}}{μ^{2}} + \frac{1}{3} \frac{(X - μ)^{3}}{ξ_{X}^{3}},

$\log X = \log\mu + \frac{X - \mu}{\mu} - \frac12 \frac{(X-\mu)^2}{\mu^2} + \frac13 \frac{(X - \mu)^3}{\xi_X^3},$ 其中，按照惯例，

ξ_{X}

$\xi_X$ 是ST

| ξ_{X} - μ | < | X - μ |

$|\xi_X - \mu| < |X - \mu|$ 。

如果我们的预期，我们将得到一个近似方程，人们通常所说的东西自我明显（见 $\approx$ 第一个方程式符号这里）：

E \log X \approx \log μ - \frac{1}{2} \frac{σ^{2}}{μ^{2}}

$\mathbb{E}\log X \approx \log \mu - \frac12 \frac{\sigma^2}{\mu^2}$

问：我感兴趣的是如何证明余项的预期值实际上是可以忽略不计，即

E [\frac{(X - μ)^{3}}{ξ_{X}^{3}}] = o (σ^{2})

$\mathbb{E}\left[\frac{(X - \mu)^3}{\xi_X^3}\right] = o(\sigma^2)$ （或，换句话说，

E [o (X - μ)^{2}] = o (E [(X - μ)^{2}])

$\mathbb{E}\bigl[o(X-\mu)^2\bigr] = o\bigl(\mathbb{E}\bigl[(X-\mu)^2\bigr]\bigr)$ ）。

我试图做的：假定 $\sigma^2 \to 0$ （这反过来，装置 $X \to \mu$ 在 $\mathbb{P}$ ），我试图积分分成两个，周围 $\mu$ 一些 $\varepsilon$ -vicinity $N_\varepsilon$ ：

\int_{R} p (x) \frac{(x - μ)^{3}}{ξ_{x}^{3}} d x = \int_{x \in N_{ε}} \dots d x + \int_{x \notin N_{ε}} \dots d x

$\int_\mathbb{R} p(x)\frac{(x-\mu)^3}{\xi_x^3} \,dx = \int_{x \in N_\varepsilon} \ldots dx + \int_{x \notin N_\varepsilon} \ldots dx$

第一个可以被界定由于以下事实：，因此不打扰。但与第二个，我们有两个并存的事实：一方面（如）。但在另一方面，我们不知道做什么用的。 $0 \notin N_\varepsilon$ $1/\xi^3$

P (| X - μ | > ε) \to 0

$\mathbb{P}(|X - \mu| > \varepsilon) \to 0$

σ^{2} \to 0

$\sigma^2 \to 0$

1 / ξ^{3}

$1/\xi^3$

另一种可能是尝试使用法图的引理，但我不知道如何做。

将不胜感激任何帮助或提示。我意识到这是一个非常技术性的问题，但我需要仔细研究才能信任这种“泰勒期望”方法。谢谢！

PS我在这里签出，但似乎还有其他问题。

self-study mathematical-statistics expected-value

— 阿格隆斯基
source

为什么泰勒展开式的第三项前面有减号？还有为什么在第四学期中有

而不是

？我想念什么？

3

$3$

3!

$3!$

— Alecos Papadopoulos

@Alecos：只看

的

次导

。这将回答您的两个问题。

n

$n$

\log x

$\log x$

— 2013年

4

（+1）这个问题最近在讨论两个与寻找

矩有关的问题时出现。在此类问题上要格外小心。:-)

X^{- 1}

$X^{-1}$

— 红衣主教

1

由于平均值定理，在某些情况下，一阶逼近实际上可能更好。不确定平均值定理在一般情况下是否会有所帮助。

— 概率

1

我本来以为在控制收敛定理可能是有用的在这里，因为公式

是限制和集成的交换。

E (o (. .)) = o (E (. .))

$E(o(..))=o(E(..))$

— 概率

32

您对此方法持怀疑态度是正确的。尽管启发式方法包含真相，但泰勒级数方法通常无法正常工作。总结以下技术讨论，

高度集中意味着泰勒级数方法可以很好地发挥作用
对于繁琐的发行版或不太好的功能，事情可能会并且会出错。

正如Alecos的回答所表明的那样，这表明如果您的数据可能有很多尾巴，则应该取消泰勒级数方法。（金融专家，我在找你。）

正如埃尔维斯（Elvis）所指出的，关键问题是方差不能控制较高的力矩。为了弄清原因，让我们尽可能地简化您的问题，以达到主要思想。

假设我们有一个随机变量其中为。 $X_n$ $\sigma(X_n)\to 0$ $n\to \infty$

问：我们可以保证作为 $\mathbb{E}[|X_n-\mu|^3] = o(\sigma^2(X_n))$ $n\to \infty?$

由于存在具有有限的第二矩和无限的第三矩的随机变量，因此答案肯定为no。因此，通常，泰勒级数方法即使对于三阶多项式也失败。迭代此参数表明，即使对于多项式，也不能期望泰勒级数方法能够提供准确的结果，除非您的随机变量的所有时刻都得到良好控制。

那我们该怎么办？当然，该方法适用于支持度收敛到某一点的有界随机变量，但是此类太小而无法引起人们的兴趣。相反，假设序列来自某个满足要求的高度集中的家庭（例如） $X_n$

\begin{matrix} (1) & P {| X_{n} - μ | > t} \leq e^{- C n t^{2}} \end{matrix}

$\mathbb{P}\left\{ |X_n-\mu|> t\right\} \le \mathrm{e}^{- C n t^2} \tag{1}$

对于每一个和一些。这种随机变量出奇地普遍。例如，当是经验均值时 $t>0$ $C>0$ $X_n$

X_{n} := \frac{1}{n} \sum_{i = 1}^{n} Y_{i}

$X_n := \frac{1}{n} \sum_{i=1}^n Y_i$

对于好的随机变量（例如，iid和有界），各种浓度不等式暗示满足（1）。标准参数（请参见此处的第10页）限制了此类随机变量的个矩： $Y_i$ $X_n$ $p$

E [| X_{n} - μ |^{p}] \leq {(\frac{p}{2 C n})}^{p / 2} .

$\mathbb{E}[|X_n-\mu|^p] \le \left(\frac{p}{2 C n}\right)^{p/2}.$

因此，对于任何“足够好的”解析函数（请参见下文），我们可以使用三角不等式将误差约束在项泰勒级数逼近上 $f$ $\mathcal{E}_m$ $m$

E_{m} := | E [f (X_{n})] - \sum_{p = 0}^{m} \frac{f^{(p)} (μ)}{p!} E (X_{n} - μ)^{p} | \leq \frac{1}{(2 C n)^{(m + 1) / 2}} \sum_{p = m + 1}^{\infty} | f^{(p)} (μ) | \frac{p^{p / 2}}{p!}

$\mathcal{E}_m:=\left|\mathbb{E}[f(X_n)] - \sum_{p=0}^m \frac{f^{(p)}(\mu)}{p!} \mathbb{E}(X_n-\mu)^p\right|\le \tfrac{1}{(2 C n)^{(m+1)/2}} \sum_{p=m+1}^\infty |f^{(p)}(\mu)| \frac{p^{p/2}}{p!}$

$n>C/2$ $p! \approx p^{p-1/2}$

\begin{matrix} (2) & E_{m} = O (n^{- (m + 1) / 2}) as n \to \infty whenever \sum_{p = 0}^{\infty} p^{(1 - p) / 2} | f^{(p)} (μ) | < \infty . \end{matrix}

$\mathcal{E}_m = O(n^{-(m+1)/2}) \text{ as } n\to \infty\quad \text{whenever} \quad \sum_{p=0}^\infty p^{(1-p)/2 }|f^{(p)}(\mu)| < \infty \tag{2}.$

$X_n$ $f$ $f^{(p)}(\mu)/p! = O(p^{-p/2})$ $f$ $X_n$

$f$ $f(x)=1/x$ $X_n$ $\mathrm{Normal}(1,1/n)$ $X_n$ $\mathbb{E}[f(X_n)] = \infty$ $n$ 。换句话说，我们有一个高度集中的有界随机变量，当函数只有一个奇点时，泰勒级数方法仍然失败。

严谨的几句话。 我觉得更好的呈现状态出现在（2）得到的，而不是一个救星这是一个在严格的定理/证明的格式要求。为了使论点完全严格，首先请注意，（2）中的右侧暗示着

E [| f (X_{n}) |] \leq \sum_{i = 0}^{\infty} \frac{| f^{(p)} (μ) |}{p!} E [| X_{n} - μ |^{p}] < \infty

$\mathbb{E}[|f(X_n)|] \le \sum_{i=0}^\infty \frac{|f^{(p)}(\mu)|}{p!} \mathbb{E}[|X_n-\mu|^p]< \infty$

由上方的高斯矩的增长率决定。因此，富比尼定理提供了

E [f (X_{n})] = \sum_{i = 0}^{\infty} \frac{f^{(p)} (μ)}{p!} E [(X_{n} - μ)^{p}]

$\mathbb{E}[f(X_n)] = \sum_{i=0}^\infty \frac{f^{(p)}(\mu)}{p!} \mathbb{E}[(X_n-\mu)^p]$

其余证明如上所述进行。

— 迈克·麦科伊
source

1

X

$X$

\log (X)

$\log(X)$

\log

$\log$

X

$X$

2

X

$X$

0 < X < 2 μ

$0<X<2 \mu$

2

X

$X$

(1, 1)

$(1,1)$

(0, 2)

$(0,2)$

μ = 1

$\mu=1$

f (x) = 1 / x = 1 / (1 - (1 - x))

$f(x)=1/x = 1/(1-(1-x))$

1

$1$

(0, 2 μ)

$(0,2\mu)$

E [f (X)]

$\mathbb{E}[f(X)]$

1

f (x) = 1 / x

$f(x)=1/x$

| f^{(p)} (μ) | = p! / μ^{p}

$|f^{(p)}(\mu)|=p!/\mu^p$

(2) = \sum p! p^{(1 - p / 2)} μ^{p} \to \infty

$\text{(2)}=\sum p! p^{(1-p/2)} \mu^p \to \infty$

μ > 0

$\mu>0$

\log (p! f^{(p)} (μ)) / p \to - \infty

$\log (p! f^{(p)}(\mu) )/ p \to -\infty$

f

$f$

1

[0 + ε, 2 μ - ε]

$[0+\varepsilon, 2 \mu-\varepsilon]$

ε > 0

$\varepsilon > 0$

E_{m}

$\mathcal{E}_m$

10

尽管我的答案在任何地方都无法达到其他答案在数学上的先进程度，但我还是决定发布它，因为我相信它会有所帮助-尽管结果如他们所说是“负”的。

在轻音，我要说的是，OP是“风险规避”，（因为大多数人，以及科学本身），因为OP需要足够的二阶泰勒级数展开近似条件“是可以接受”。但这不是必要条件。

首先，如OP所要求的，要使余数的期望值比rv的方差要低，则必要但不充分的先决条件是该序列首先收敛。我们应该假设融合吗？没有。

我们检查的一般表达是

E [g (Y)] = \int_{- \infty}^{\infty} f_{Y} (y) [\sum_{i = 0}^{\infty} g^{(i)} (μ) \frac{(y - μ)^{i}}{i!}] d y [1]

$E\Big[g(Y)\Big] = \int_{-\infty}^{\infty}f_Y(y)\Big[\sum_{i=0}^{\infty}g^{(i)}(\mu)\frac{(y-\mu)^i}{i!}\Big]dy \qquad [1]$

正如Loistl（1976）所言，参考吉米尼亚尼（Gemignani）的《微积分与统计》（Calculus and Statistics）书（1978，p。170），无穷和收敛的条件是（对收敛进行比率检验的应用）

y - μ < | y - μ | < lim_{i \to \infty} | (\frac{g^{(i)} (μ)}{g^{(i + 1)} (μ)} (i + 1)) | [2]

$y-\mu < |y-\mu|<\lim_{i\rightarrow \infty}\left | \left(\frac {g^{(i)}(\mu)}{g^{(i+1)}(\mu)}(i+1)\right)\right| \qquad [2]$

$\mu$

$g()$ $y-\mu$ $0 <y$ $[2]$

y - μ < μ \Rightarrow 0 < y < 2 μ

$y-\mu < \mu \Rightarrow 0 < y < 2\mu$

这意味着，如果我们的变量在此范围之外变化，则以泰勒展开为中心的变量均值将发散。

因此：对于某些函数形式，函数在其域某个点的值等于其无限泰勒展开，无论该点距展开中心有多远。对于其他功能形式（包括对数），兴趣点应“稍微”靠近所选扩展中心。在我们有一个rv的情况下，这转化为对该变量的理论支持的限制（或检查其经验观察范围）。

Loitl使用数值示例还表明，在截断之前增加展开次数可能会使逼近的准确性变得更糟。我们必须注意，根据经验，金融部门中观察到的变量的时间序列确实显示出比不平等所要求的更大的变异性。因此，Loitl继续主张，就投资组合选择理论而言，应该完全取消泰勒级数逼近方法。

18年后的Hlawitschka（1994年）实现了反弹。这里的宝贵见解和结果是，我引用

...尽管一个系列最终可能会收敛，但是关于其部分系列中的任何一个都说得很少；系列的收敛并不意味着这些术语会立即减小大小，也不意味着任何特定的术语都足够小而可以忽略。的确，如此处所示，在最终收敛到极限之前，序列可能会出现发散。因此，基于泰勒级数的前几个项的矩对期望效用的近似质量不能由无限级数的收敛性质来确定。这是一个经验性的问题，根据经验，此处研究的效用函数的二阶近似可以很好地完成投资组合选择的任务。 赫拉维奇卡（1994）

例如，Hlawitschka表明，不管泰勒级数是否收敛，二阶逼近都是“成功的” ，但他也验证了Lotl的结果，即增大逼近阶数可能会使情况更糟。但是，成功的前提是：在“投资组合选择”中，“期望效用”用于对证券和其他金融产品进行排名。这是一个序数度量，而不是基数。因此，Hlawitschka发现，与基于的精确值的确切值得出的排名相比，二阶近似保留了不同证券的排名。 $E(g(Y)$ 它总是给出定量结果，该结果要足够接近此精确值（请参见第718页中的表A1）。

那那把我们留在哪里呢？说不定，我会说。从理论和经验上看，二阶泰勒近似的可接受性都主要取决于所研究的特定现象的许多不同方面以及所采用的科学方法，它取决于理论假设，所使用的功能形式，关于序列的观测变异性...

但是，让我们积极地结束这一点：如今，计算机功能替代了很多东西。因此，无论是理论上还是经验上的问题，我们都可以廉价地模拟和测试二阶近似的有效性，以评估各种变量值的便宜性。

— 阿莱科斯·帕帕多普洛斯
source

8

这不是一个实际的答案，而是一个示例，表明情况不是很好，并且需要额外的假设才能使此结果正确。

$X_n$ $U\left( \left[ -{1\over n} ; {1\over n} \right] \right)$ $\mathcal N({n \over n-1}, {1\over n})$ $1\over n$ $1 -{1\over n} = {n-1 \over n}$ $E(X_n) = 1$ $0$ $n$

E (X_{n}^{2}) = \frac{1}{3 n^{2}} \times \frac{1}{n} + ({(\frac{n}{n - 1})}^{2} + \frac{1}{n}) \times \frac{n - 1}{n},

$E\left(X_n^2\right) = {1\over 3 n^2} \times {1\over n} + \left(\left({n \over n-1}\right)^2+{1\over n}\right)\times{n-1 \over n},$

$f(x) = 1/x$ $f(0) = 0$ $f(X_n)$

\int_{- \frac{1}{n}}^{\frac{1}{n}} \frac{1}{x} d x

$\int_{-{1\over n}}^{1\over n} {1\over x} \mathrm dx$

n

$n$

$f$ $X_n$

PS。这个例子不是尼克的答案的反例吗？那谁错了

— 猫王
source

1

E [X^{k}]

$E\left[X^k\right]$

k = 1, 2, 3

$k=1,2,3$

f (x)

$f(x)$

x = μ

$x=\mu$

f (x) = \frac{1}{x}

$f(x)=\frac{1}{x}$

x = 0

$x=0$

f

$f$

μ = 1

$\mu = 1$

1

猫王，是的，我们需要一个全球条件。本质上，其余部分在通过分布的尾部加权后必须表现良好。对于与您最近出现的示例类似的内容，请参见此处，此处和此处。

— 红衣主教

4

这不是一个完整的答案，只是得出二阶近似值的另一种方法。

f (X) = f (μ) + f^{'} (ξ_{1}) (X - μ)

$f(X)=f(\mu)+f'(\xi_1)(X-\mu)$

$X\leq\xi_1 \leq \mu$ $X \leq \mu$ $X\geq\xi_1 \geq \mu$ $X \geq \mu$ $f'(\xi_1)$

f^{'} (ξ_{1}) = f^{'} (μ) + f^{″} (ξ_{2}) (ξ_{1} - μ)

$f'(\xi_1)= f'(\mu) + f''(\xi_2)( \xi_1-\mu)$

对于某些当或当。将其放入第一个公式中 $X\leq\xi_1\leq\xi_2\leq\mu$ $X\leq\mu$ $X\geq\xi_1\geq \xi_2 \geq\mu$ $X\geq\mu$

f (X) = f (μ) + f^{'} (μ) (X - μ) + f^{″} (ξ_{2}) (ξ_{1} - μ) (X - μ)

$f(X)=f(\mu)+ f'(\mu) (X-\mu) + f''(\xi_2)( \xi_1-\mu) (X-\mu)$

请注意，此结果仅要求是连续的并且在和之间可微分两次。但是，这仅适用于固定的，更改表示的相应更改。可以将二阶delta方法视为对的整个支持范围内的和的全局假设。或至少在高概率质量区域内。 $f$ $X$ $\mu$ $X$ $X$ $\xi_i$ $\xi_1-\mu=\frac{1}{2}(X-\mu)$ $\xi_2=\mu$ $X$

— 概率逻辑
source