在计算机科学中，我们经常必须解决递归关系，即为递归定义的数字序列找到闭合形式。在考虑运行时时，我们通常主要对序列的渐近增长感兴趣。

例子是

1. 尾递归函数的运行时间从向下逐步降为，的身体花费时间：$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. 的斐波那契序列：

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. 具有括号对的Dyck单词数：$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. mergesort运行时重复出现在长度为列表上：$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

解决递归关系的方法有哪些？我们正在寻找

• 一般方法和
• 重要子类的方法

以及

• 产生精确解的方法
• 提供（逐渐）渐近增长的方法。

^{这应该成为参考问题。请为每种方法发布一个答案，并提供一般说明和说明性示例。}

将完整历史记录转换为有限历史记录

这是解决递归的第一步，其中任何整数的值都取决于所有较小整数的值。考虑，例如，复发 ，其产生在随机快速排序分析中的应用。（在此，是随机选择的枢轴的秩）。对于任何整数，的值依赖于所有同。这种形式的重复称为完整历史重复。knT（n）T（k）k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

要解决此重复，我们可以将其转换为有限的历史重复，其中仅取决于恒定数量的先前值。但首先，它有助于简化重复过程，收集常用术语并消除讨厌的分数。 现在可以转换为有限历史重复，我们记下的递归，减去和重新输入项： n T （n $T(n)$ T（n−1）（n − 1 ）T （n − 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

现在，如果我们定义并将分数替换为更简单的渐近形式，我们获得了更简单的递归 将此递归扩展为求和，将立即得到，其中是第个谐波数。我们得出结论。2 Ñ - $t(n) = T(n)/(n+1)$ Θ（1/n）t（n）=Θ（1/n）+t（n-1）。t（n）=Θ（Hn）=Θ（logn）Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

生成函数$\newcommand{\nats}{\mathbb{N}}$

每个数字序列都对应一个生成函数。通常可以从循环中轻松获得它的系数-系列的元素-。

此答案包括带有完整示例的常规ansatz，特殊情况的快捷方式以及有关使用此方法获得渐近线的一些注意事项（即使无法获得精确的结果）。

方法

令一系列数字。然后，正式的权力系列$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

是的普通生成函数 ¹ 。的级数展开中的系数等于序列，即。例如，著名的加泰罗尼亚数字的普通生成函数为甲（ż ）[ Ž Ñ ] 甲（ż ）= 一个Ñ Ç $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$。

的定义也是解决递归的难题。这对于线性递归最有效，因此为简单起见，假定形式的递归$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

对于某些固定的和一个独立于所有的函数。现在，我们只需将锚和递归部分都插入到ansatz中，即 ˚F （Ñ ）：ñ → Ñ 一个$b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

利用求和操纵的力学，形式幂级数的性质和已知恒等式 ²，最后一个右手侧必须转换为封闭形式，通常以。生成的方程可以（通常）求解。结果的级数展开（可以容易地获得，已知或以其他方式可达到）实质上是解决方案。A （z $A(z)$$A(z)$

在Wilf的书[3]和GKP [4]中可以找到很好的介绍。Flajolet和Sedgewick [5]收集了高级材料。

例

考虑

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

我们计算：

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

这解决了

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

现在我们终于可以读懂了

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

一旦习惯了，您会发现这一切都是很熟练的。实际上，计算机代数可以在许多情况下为您完成所有这些工作。这样做的好处是，即使复发更为复杂，它仍然（或多或少）保留该机制。请参阅此处，以获取更多参与，更少机械的示例。

还应注意，如果要搜索的对象是复数，甚至是多项式，则通用技术也可以使用。

捷径

对于线性和齐次递归，即形式

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

每次都以完全相同的方式进行上述操作。通过象征性地执行上述计算，我们发现以下引理。让

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

是（递归的）特征多项式。此外，分别使具有多重性的所述多项式的（成对不同的）零分别为。然后，所需的系数为ř $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

未知。由于特征多项式的阶次为，因此恰好有（复数）零，即 sum为。因此，丢失的系数可以通过求解与线性方程系统来确定由上述式等同与任何获得方程所述的（例如锚）。 k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

渐近性

得出的闭合形式通常很容易。通过生成函数来表达它，我们知道（如我们在示例中一样）的系数很快变得困难。示例是上面的和问题中提到的Dyck单词数的示例。C （z $A(z)$$C(z)$

为了获得系数的渐近性，可以使用复杂的分析机制，特别是奇点分析。流行词包括Darboux方法和鞍点方法。这些基于残差定理和柯西积分公式。有关详细信息，请参见[6]。

---

1. 您可以使用exponential，Dirichlet和其他一些生成函数来做类似的事情。哪种方法效果最好取决于手头的顺序，尤其取决于您是否找到了必要的封闭表格。
2. 例如，来自TCS备忘单或[3]。
3. generatingfunctionology由H.维尔夫（1994年，第二版） -可免费下载
4. RL Graham，DE Knuth和O.Patashnik撰写的《具体数学》（1994年，第二版）。
5. R.Sedgewick和P.Flajolet 的算法分析简介（2013年第二版）-免费下载
6. P.Flajolet和R.Sedgewick（2009）的Analytic Combinatorics-免费下载

大师定理

该主定理给出了渐近所谓的解决方案鸿沟和征服复发，这使得他们划分成参数比例块（而不是切除常量）。它们通常在分析（递归）分治法时出现，因此得名。该定理之所以受欢迎，是因为它通常非常容易应用。另一方面，它只能应用于以下形式的重复发生：

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

与。有三种情况$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   对于一些 ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$，

   对于一些 ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   对于一些和$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   对于某些和。n → $c < 1$$n \to \infty$

这意味着无症状

1. $T \in \Theta\left( n^{\log_b a} \right)$，
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$和
3. $T \in \Theta \left(f \right)$，

分别。注意，这里没有说明或使用基本情况。考虑到我们只是在研究渐近行为，这很有意义。我们默默假定它们是一些常量（还能有什么，他们可以。这常量，我们没有看到的是无关紧要的，他们都在消失。$\Theta$

例子

1. 考虑复发

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$。

   与与 -注意我们看到情况下，一个具有适用。因此，。b = 3 日志b一个≈ 1.26 ε = 0.25 Ť ＆Element; Θ （Ñ 登录3 4）= Θ （Ñ 1.261 ...$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. 考虑复发

   $\qquad \displaystyle T(n) = 2T(n/2) + n$。

   在和 -注意我们看到情况2适用于。因此，。b = 2 日志b一个= 1 ķ = 0 Ť ＆Element; Θ （Ñ 登录Ñ $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. 考虑复发

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$。

   在和 -注意我们看到情况三适用于和。因此，。b = 4 日志b一个≈ 0.79 ε = 0.2 c ^ = 1 Ť ＆Element; Θ （Ñ $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. 考虑复发

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   这里我们有，和-许多标准示例将具有多项式，但这不是规则。我们有，情况三再次适用。但是在这种情况下，我们可以选择任何且作为对于所有。因此。b = 4 f （n ）= n ！˚F 日志b一个= 2 ε ç > 0 Ñ ！＆Element; Ω （Ñ ķ）ķ Ť ＆Element; Θ （Ñ ！$a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

进一步阅读

• 大师定理的情况很可能都不适用。例如，子问题的大小可能不相等，也可能更复杂。Master定理有一些扩展，例如Akra-Bazzi [1]或Roura [2]。甚至有一个适用于离散递归的版本（即，递归参数使用了底数和小数），并提供了更清晰的结果[3]。

• 通常，在应用Master定理之前，您必须先弄清楚已形成的实际递归关系。保持渐近性的常见转换包括掉落地板和天花板以及假设。注意不要在这里弄坏东西；有关详细信息，请参见[4]第4.6节和该问题。$n=b^k$

---

1. M. Akra和L. Bazzi（1998）关于线性递归方程的解
2. S. Roura（1997）针对分治法则递归的
   ^{改进的主定理指的是其他改进的主定理。}
3. M.Drmota和W.Szpankowski（2011）提出的离散除法和征服递归的主定理
4. Cormen等人的算法简介。（2009年，第3版）

猜测与证明

或我喜欢称之为“技术”。它可以应用于各种身份。这个想法很简单：$\dots$

猜测解决方案并证明其正确性。

这是一种流行的方法，可以说是因为它通常需要一些创造力和/或经验（很好地炫耀），但是很少需要机械手（看起来很优雅）。这里的艺术是做出良好的，有根据的猜测；证明（在我们的情况下）通常是或多或少的简单归纳法。

当应用于递归时，“猜测”通常由

• 扩大复发几倍，
• 找出锚点并
• 猜测中间的模式（）。$\dots$

简单的例子

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

让我们扩展的定义几次：$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

在这里，这种模式很容易发现，并引出了我们的主张：

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

现在我们通过归纳证明身份。对于，我们可以通过插入相应的值来确定正确性。假设对于一个任意但固定的，身份对于所有成立，我们计算$n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

通过归纳的力量证明了身份。

如果尝试在涉及更多的重复中使用此方法，则会很快遇到此方法的主要缺点：很难看到模式，或将其浓缩为一个很好的封闭形式。

渐近性

也可以将此方法用于渐近疗法。但是请注意，您必须猜测 Landau符号的常数，因为必须有一个常数来确定所有 的边界，即常数因数在归纳过程中不能改变。$n$

例如，考虑对 k¹简化的Mergesort运行时重现：$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

我们猜测该与常数，即。我们通过对的归纳来证明这一点；归纳步骤如下所示：$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. 对于自然数的非递减序列，每个无限子序列都具有与原始序列相同的渐近增长。

Akra-Bazzi方法

所述Akra-Bazzi方法给出渐近形式的复发： 这涵盖了通常的“分而治之”重复发生，但也包括除法不相等的情况。例如，“忽悠词”可以满足不完全精确的划分。适用条件为：

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• 有足够的基本案例可以使重复进行
• 该和都是常数$a_i$$b_i$
• 对于所有，$i$$a_i > 0$
• 对于所有，$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$对于某个常数如$c$$x \rightarrow \infty$
• 对于所有，$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$是一个常数

注意，并且作为锯齿函数始终在0到1之间，替换（或 适当）满足的条件。$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

求使得： 然后，的渐近行为为给出： 与 “足够大”，即因此 对于所有， 。$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

例子A

例如，对进行递归，其中： 满足条件，我们需要： 幸运的是，。因此，我们有： $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

因为使用我们对所有都满足。请注意，因为即使我们使用其他常量（例如）作为下界，积分也会收敛，因此也可以使用这些常量；差异消失在。$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

例子B

下面是另一个示例： 我们有，检查。我们有一个单独的，，可以检出。假设实际上是和/或，则隐含的也会检出。因此，我们需要： 因此，并且： $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ 我们将与上面类似的技巧应用于积分的下限，仅使用因为积分不收敛于。$2$$1$

（感谢代数的极大帮助）

求和

通常会遇到形式为的递归 其中是单调的。在这种情况下，我们可以展开 因此给定一个初始值以便估算我们需要估算总和。

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

不递减$f(n)$

当为单调非递减时，我们有明显的界限 就某些函数而言，这些边界是严格的，这是最好的：常量函数的上限，阶跃函数的下限对于和，对于）。但是，在许多情况下，这些估计不是很有帮助。例如，当，下限为，上限为，因此它们相距很远。$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

积分

通过积分可以得到更好的估计： 对于，这给出了低阶项之和的正确值： 当我们可以显式计算总和，但是在许多情况下，显式计算很困难。例如，当，的反导数为，因此

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

该欧拉-麦克劳林公式给出更好的估计。例如，可以通过估算和来证明斯特林公式的强形式。$\log n! = \sum_{m=1}^n \log m$

不增加$f(n)$

在某些情况下，是单调非递增的。平凡的估计变为 积分估计 例如，对于，使用我们获得 $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick和Flajolet在分析组合学方面做了大量工作，可以结合使用生成函数和复杂分析来渐近地解决递归问题。他们的工作可以自动解决许多重复问题，并且已在某些计算机代数系统中实现。

这本有关该主题的教科书由Flajolet和Sedgewick撰写，是极好的参考。Sedgewick和Flajolet撰写的这篇文章是针对算法分析应用程序的一个较为简单的阐述。

希望这可以帮助！

有时您可能会遇到这样的异常重复： 如果您像我一样，会意识到您无法使用主定理，那么您可能会认为，“嗯...也许可以进行递归树分析。” 然后您会意识到这棵树开始变得非常粗壮。在互联网上搜索后，您会看到Akra-Bazzi方法将起作用！然后，您实际上开始研究它，并意识到您并不是真的想做所有的数学运算。如果到目前为止您一直都喜欢我，那么您会很高兴知道有一种更简单的方法。

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

不均匀分裂定理第1部分

令和为正常数。$c$$k$

然后令为正常数，使得。$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

我们还必须重复使用以下形式（例如上面的示例）：

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

要求

然后我要求其中是一个常数（例如，渐近线性），并且：$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

归纳证明

基础：$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

归纳法：假设任何为真，则有$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

然后我们有。$T(n) \leq bn \implies T(n) = O(n)$

例

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ 我们首先验证递归调用内的系数之和小于1： $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

接下来，我们验证基本情况是否小于系数倒数的最大值：

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

满足这些条件，我们知道其中是一个等于的常数： 因此，我们有： $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

不均匀分裂定理第2部分

类似地，我们可以证明时的约束。证明将遵循大部分相同的格式：$\sum_1^k = 1$

令和为正常数，使。$c$$k$$k > 1$

然后令为正常数，使得。$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

我们还必须重复使用以下形式（例如上面的示例）：

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

要求

然后我要求（我们选择基数因为将是递归树的分支因子）其中和是常数（例如，渐近线性方程） ），以便：$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ 和 $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

归纳证明

基础：$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

归纳法：假设任何为真，则有$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

那么我们有。$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

例

让我们修改前面的示例，我们只使用了一点点：

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

我们首先验证递归调用内的系数之和为1：

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

接下来，我们验证基本情况是否小于系数倒数的最大值：

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

在满足这些条件的情况下，我们知道其中并且是一个常数，等于： 因此，我们得到： $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

再次检查了这篇文章后，我很惊讶这里还没有发布。

域转换/变量更改

在处理递归时，如果不清楚递归堆栈的深度，有时可以更改域有时很有用。

例如，进行以下重复：

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

我们怎么能解决这个问题？我们可以扩展该系列，但是我保证这会非常快。相反，让我们考虑一下每次调用时输入的变化。

我们首先有：

1. $n$，然后
2. $2^{2^{\sqrt{\log \log n}}}$，然后
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$，依此类推。

域转换的目标现在是将我们的递归更改为等效，以便代替上面的转换，我们仅拥有。$S(k)$$k, k-1, k-2, \ldots$

例如，如果我们让，那么以上重复出现就是这样的： 然后我们可以简单地将其重写为： 然后，您要做的就是将转换为以获得： $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

通过此示例，我们现在可以看到我们的目标。

假设 对于某些常数和函数和。

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

现在，我们试图找到一些函数和，使得 $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

更一般地，我们希望其中是重复应用上，次。（例如）。这将使充当“迭代”函数。其中，在递归深度处，完成的工作只是。$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

然后我们可以轻松地将其转换为这样 然后我们只需要担心在给定基本情况下，将所有相加。也就是说， $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

如果我们可以为某个封闭形式函数确定，则可以将确定为 $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

然后我们使用它通过上面的其他方法之一来约束。您显然可以根据自己的规范修改此方法，但总的来说，您试图找到一个迭代函数将转换为简单的递归。$T(n)$$g(k)$$T(n)$

我目前不知道确定的确切方法，但是我会继续考虑它，并在它变得更清晰时（或者任何评论者有一些提示！）进行更新。过去，我大多数都是通过反复试验找到我的函数（有关示例，请参见此处，此处，此处和此处）。$g(k)$$g(k)$

还有一种方法可以用于简单的重复关系：请Wolfram Alpha为您解决重复问题。

例如，尝试输入f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha。您将获得解决方案，并带有指向斐波那契数字的链接。或尝试f(1)=1, f(n)=f(n-1)+n或f(1)=1, f(n)=2*f(n-1)+3*n或f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3获取其他示例。但是请注意：Wolfram Alpha可以解决一些非常简单的重复，但对于更复杂的重复来说却分崩离析。

这种方法避免了进行任何思考的需要，可以将其视为错误或功能。

如通常所述，主定理的情况2仅处理形式为递归，其中表示。以下定理取自Jeffrey Leon 的讲义，给出了负的答案：$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

考虑具有适当基本情况的递归。$T(n) = a T(n/b) + f(n)$

1. 如果对于，则。$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. 如果对于则。$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. 如果对于，则）。$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

现在我们画草图，证明使用重复替换的方法。假设且。然后对于幂， 现在让我们一一考虑这些案例。当，系列收敛，因此。当，总和为谐波总和，依此$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$。当，我们可以使用积分来近似求和： 因此。$c > 0$ $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$