按渐近增长对函数进行排序

假设我有一个功能列表，例如

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

如何渐近地对它们进行排序，即在由

$\qquad f \leq_O g \iff f \in O(g)$，

假设它们确实是成对可比的（另请参见此处）？使用的定义似乎很尴尬，并且通常很难证明合适的常数和的存在。Ç Ñ $O$$c$$n_0$

这是关于复杂度的量度，因此我们对渐进行为感兴趣，并且我们假定所有函数仅采用非负值（）。＆ForAll; Ñ ，˚F （Ñ ）≥ $n \to +\infty$$\forall n, f(n) \ge 0$

如果需要严格的证明，以下引理通常是有用的。比定义更方便。

如果存在，则$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• $c=0 \qquad \ \,\iff f \in o(g)$，
• $c \in (0,\infty) \iff f \in \Theta(g)$和
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$。

这样，您应该能够订购算法分析¹中出现的大多数功能。做个练习，证明一下！

当然，您必须能够相应地计算限制。将复杂功能分解为基本功能的一些有用技巧：

• 将两个函数都表示为并比较指数；如果它们的比率趋于或，则原始商也是如此。$e^{\dots}$$0$$\infty$

• 更笼统地说：如果您有一个凸的，连续可微的和严格增加的函数那么您可以将商重新写为$h$

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$，

  与和$g^* \in \Omega(1)$

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$，

  然后

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$。

  ^{有关此规则的严格证明，请参见此处（德语）。}

• 考虑您的职能在现实中的延续。您现在可以使用L'Hôpital规则；注意其条件²！

• 看一下离散等效项Stolz–Cesàro。

• 当阶乘弹出时，使用斯特林公式：

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

保留一次证明并经常使用的基本关系池也很有用，例如：

• 对数比多项式增长慢，即

  $\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$对于所有。$\alpha, \beta > 0$

• 多项式的阶数：

  $\qquad\displaystyle n^\alpha \in o(n^\beta)$对于所有。$\alpha < \beta$

• 多项式的增长比指数慢：

  $\qquad\displaystyle n^\alpha \in o(c^n)$对于所有和。$\alpha$$c > 1$

---

可能会发生上述引理不适用的情况，因为该限制不存在（例如，函数振荡时）。在这种情况下，请考虑使用上等/劣等石灰对Landau类进行以下表征：

使用我们有$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 \leq c_s < \infty \iff f \in O(g)$和
• $c_s = 0 \iff f \in o(g)$。

使用我们有了$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 < c_i \leq \infty \iff f \in \Omega(g)$和
• $c_i = \infty \iff f \in \omega(g)$。

此外，

• $0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$和
• $c_i = c_s = 1 \iff f \sim g$。

---

如果您对我的记法感到困惑，请在此处和此处进行检查。

---

¹注意：我的同事编写了一个Mathematica函数，该函数成功地对许多函数执行了此操作，因此引理确实将任务简化为机械计算。

²另请参见此处。

另一个技巧：有时将单调函数（例如log或exp）应用于函数会使情况更清晰。

Skiena在他的《算法设计手册》一书中提供了最常见功能之间的优势关系的排序列表：

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

这里表示逆阿克曼函数。$\alpha(n)$

提示：使用Wolfram Alpha之类的工具绘制这些函数的图形，以了解它们的增长方式。请注意，这不是很精确，但是如果您尝试使用足够大的数字，则应该看到比较的增长方式。这当然不能代替证明。

例如，尝试：从1到10000绘制log（log（n））以查看单个图形，或者从1到10000 绘制log（log（n））并绘制log（n）以查看比较。

我建议根据各种符号的定义进行操作。从任意一对表达式开始，然后确定它们的顺序，如下所述。然后，对于每个其他元素，使用二进制搜索和如下比较来找到其在排序列表中的位置。因此，例如，让我们对的前两个函数和排序，以启动列表。$n^{\log\log n}$$2^n$

我们使用的属性将第一个表达式重写为。然后，我们可以继续使用该定义来显示，因为对于任何常数，有一个使得对于，。$n = 2^{\log n}$$n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$$n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$$c > 0$$n_0$$n \geq n_0$$c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$

接下来，我们尝试。我们将其与进行比较，这是我们迄今为止放置的最大元素。由于，我们类似地显示。$3^n$$2^n$$3^n = (2^{\log 3})^n = 2^{n\log3}$$2^n \in o(3^n) = o(2^{n \log 3})$

等等。

这是Wikipedia的列表，表中的级别越低，复杂度等级越高；

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

注意：$poly(x) = x^{\mathcal{O}(1)}$