大多数拥有CS学位的人肯定会知道Big O代表什么。它可以帮助我们评估算法的可扩展性。
但是我很好奇,您如何计算或估算算法的复杂性?
大多数拥有CS学位的人肯定会知道Big O代表什么。它可以帮助我们评估算法的可扩展性。
但是我很好奇,您如何计算或估算算法的复杂性?
Answers:
我会尽力在这里简单地解释它,但要注意,这个主题需要我的学生花几个月的时间才能最终掌握。您可以在《 Java中的数据结构和算法》第二章中找到更多信息。
没有可用于获取BigOh的机械程序。
作为“食谱”,要从一段代码中获取BigOh,您首先需要认识到您正在创建一个数学公式,以计算给定大小的输入后执行多少计算步骤。
目的很简单:从理论角度比较算法,而无需执行代码。步骤数越少,算法越快。
例如,假设您有这段代码:
int sum(int* data, int N) {
int result = 0; // 1
for (int i = 0; i < N; i++) { // 2
result += data[i]; // 3
}
return result; // 4
}
该函数返回数组所有元素的总和,我们想创建一个公式来计算该函数的计算复杂度:
Number_Of_Steps = f(N)
因此,我们有f(N)
一个用于计算计算步骤数的函数。函数的输入是要处理的结构的大小。这意味着将调用该函数,例如:
Number_Of_Steps = f(data.length)
该参数N
取data.length
值。现在我们需要函数的实际定义f()
。这是从源代码完成的,其中每个有趣的行从1到4编号。
有许多方法可以计算BigOh。从这一点出发,我们将假定不依赖于输入数据大小的每个句子都采用恒定C
数量的计算步骤。
我们将添加函数的各个步骤,并且局部变量声明和return语句都不依赖于data
数组的大小。
这意味着第1行和第4行每个都执行C步,并且函数有点像这样:
f(N) = C + ??? + C
下一部分是定义for
语句的值。请记住,我们正在计算计算步骤的数量,这意味着for
语句的主体将获得执行N
时间。这是一样的添加C
,N
时间:
f(N) = C + (C + C + ... + C) + C = C + N * C + C
没有机械规则来计算for
执行主体的次数,您需要通过查看代码的作用来进行计数。为了简化计算,我们忽略了for
语句的变量初始化,条件和增量部分。
为了获得实际的BigOh,我们需要对该函数进行渐近分析。大致是这样完成的:
C
。f()
获得polynomium它standard form
。N
靠近的时候保持增长infinity
。我们f()
有两个术语:
f(N) = 2 * C * N ^ 0 + 1 * C * N ^ 1
删除所有C
常量和冗余部分:
f(N) = 1 + N ^ 1
由于最后一项是f()
接近无穷大(考虑极限)时会增大的项,因此这是BigOh参数,并且该sum()
函数的BigOh为:
O(N)
有一些技巧可以解决一些棘手的问题:尽可能使用求和。
例如,可以使用求和轻松地解决此代码:
for (i = 0; i < 2*n; i += 2) { // 1
for (j=n; j > i; j--) { // 2
foo(); // 3
}
}
您需要问的第一件事是的执行顺序foo()
。通常情况下O(1)
,您需要向您的教授询问。O(1)
表示(几乎,大部分)常量C
,与大小无关N
。
for
关于第一句的陈述很棘手。当索引在处结束时2 * N
,增量增加2。这意味着第一个for
仅执行N
步骤,我们需要将计数除以二。
f(N) = Summation(i from 1 to 2 * N / 2)( ... ) =
= Summation(i from 1 to N)( ... )
句号码2是更加棘手,因为它取决于价值i
。看一下:索引i取值:0、2、4、6、8,...,2 * N,并for
执行第二个:N倍第一个,N-2第二个,N-4第三个...直到N / 2阶段,第二个for
从不执行。
在公式上,这意味着:
f(N) = Summation(i from 1 to N)( Summation(j = ???)( ) )
同样,我们正在计算步骤数。并且根据定义,每次求和应始终以一个开始,并以大于或等于1的数字结束。
f(N) = Summation(i from 1 to N)( Summation(j = 1 to (N - (i - 1) * 2)( C ) )
(我们假设foo()
是,O(1)
并且将采取C
步骤。)
我们这里有一个问题:当i
将值N / 2 + 1
向上取整时,内部求和运算将以负数结束!那是不可能的,也是错误的。我们需要将求和一分为二,这是当前i
需要的关键点N / 2 + 1
。
f(N) = Summation(i from 1 to N / 2)( Summation(j = 1 to (N - (i - 1) * 2)) * ( C ) ) + Summation(i from 1 to N / 2) * ( C )
由于关键时刻i > N / 2
,内部for
将不会执行,因此我们假设其主体上的C执行复杂度恒定。
现在,可以使用一些标识规则来简化求和:
w
)应用一些代数:
f(N) = Summation(i from 1 to N / 2)( (N - (i - 1) * 2) * ( C ) ) + (N / 2)( C )
f(N) = C * Summation(i from 1 to N / 2)( (N - (i - 1) * 2)) + (N / 2)( C )
f(N) = C * (Summation(i from 1 to N / 2)( N ) - Summation(i from 1 to N / 2)( (i - 1) * 2)) + (N / 2)( C )
f(N) = C * (( N ^ 2 / 2 ) - 2 * Summation(i from 1 to N / 2)( i - 1 )) + (N / 2)( C )
=> Summation(i from 1 to N / 2)( i - 1 ) = Summation(i from 1 to N / 2 - 1)( i )
f(N) = C * (( N ^ 2 / 2 ) - 2 * Summation(i from 1 to N / 2 - 1)( i )) + (N / 2)( C )
f(N) = C * (( N ^ 2 / 2 ) - 2 * ( (N / 2 - 1) * (N / 2 - 1 + 1) / 2) ) + (N / 2)( C )
=> (N / 2 - 1) * (N / 2 - 1 + 1) / 2 =
(N / 2 - 1) * (N / 2) / 2 =
((N ^ 2 / 4) - (N / 2)) / 2 =
(N ^ 2 / 8) - (N / 4)
f(N) = C * (( N ^ 2 / 2 ) - 2 * ( (N ^ 2 / 8) - (N / 4) )) + (N / 2)( C )
f(N) = C * (( N ^ 2 / 2 ) - ( (N ^ 2 / 4) - (N / 2) )) + (N / 2)( C )
f(N) = C * (( N ^ 2 / 2 ) - (N ^ 2 / 4) + (N / 2)) + (N / 2)( C )
f(N) = C * ( N ^ 2 / 4 ) + C * (N / 2) + C * (N / 2)
f(N) = C * ( N ^ 2 / 4 ) + 2 * C * (N / 2)
f(N) = C * ( N ^ 2 / 4 ) + C * N
f(N) = C * 1/4 * N ^ 2 + C * N
BigOh是:
O(N²)
O(n)
其中n
是元件或数量O(x*y)
,其中x
和y
是阵列的尺寸。大哦是“相对于输入”,因此它取决于您的输入。
大O给出算法时间复杂度的上限。它通常与处理数据集(列表)结合使用,但可以在其他地方使用。
有关如何在C代码中使用它的一些示例。
假设我们有n个元素的数组
int array[n];
如果我们要访问数组的第一个元素,则为O(1),因为数组的大小无关紧要,获取第一个元素总是花费相同的恒定时间。
x = array[0];
如果我们想在列表中找到一个数字:
for(int i = 0; i < n; i++){
if(array[i] == numToFind){ return i; }
}
这将是O(n),因为至多我们将不得不浏览整个列表以找到我们的数字。即使我们可能会第一次尝试找到我们的数字并尝试通过循环一次,Big-O仍为O(n),因为Big-O描述了算法的上限(omega代表下限,theta代表紧密界限) 。
当我们进入嵌套循环时:
for(int i = 0; i < n; i++){
for(int j = i; j < n; j++){
array[j] += 2;
}
}
这是O(n ^ 2),因为对于外循环(O(n))的每一遍,我们都必须再次遍历整个列表,因此n的乘积将n平方。
这勉强可以触及表面,但是当您要分析更复杂的算法时,涉及证明的复杂数学就会发挥作用。希望这至少使您熟悉基础知识。
O(1)
工作。例如,在C标准API中,bsearch
本质上是O(log n)
,strlen
是O(n)
和qsort
是O(n log n)
(技术上没有保证,而且quicksort本身的最坏情况复杂度为O(n²)
,但是假设您的libc
作者不是白痴,则其平均情况复杂度为O(n log n)
,并且使用一种可降低击中O(n²)
案件几率的关键选择策略)。两者bsearch
并qsort
能差如果比较功能是病理性的。
虽然知道如何弄清楚特定问题的解决时间是很有用的,但了解一些一般情况对于帮助您在算法中做出决策可能会大有帮助。
以下是一些最常见的情况,摘自http://en.wikipedia.org/wiki/Big_O_notation#Orders_of_common_functions:
O(1)-确定数字是偶数还是奇数;使用恒定大小的查找表或哈希表
O(logn)-使用二进制搜索在排序数组中查找项目
O(n)-在未排序的列表中查找项目;加两个n位数字
O(n 2)-用一个简单的算法将两个n位数字相乘;加两个n×n矩阵; 气泡排序或插入排序
O(n 3)-用简单算法将两个n×n矩阵相乘
O(c n)-使用动态规划找到旅行商问题的(精确)解;使用蛮力确定两个逻辑语句是否等效
O(n!)-通过蛮力搜索解决旅行商问题
O(n n)-通常用于代替O(n!)来得出渐近复杂度的更简单公式
x&1==1
检查奇数?
x & 1
就足够了,不需要进行检查== 1
;在C语言中,由于操作符优先级而将其x&1==1
求值,因此它实际上与test相同)。我认为您虽然误解了答案;那里是分号,而不是逗号。这并不是说您需要一个用于偶/奇测试的查找表,而是说偶/奇测试和检查查找表都是操作。x&(1==1)
x&1
O(1)
小提醒:该big O
符号用于表示渐近复杂度(即,当问题的大小增长到无穷大时),并且它隐藏了一个常数。
这意味着在O(n)中的算法与O(n 2)中的算法之间,最快的方法不一定总是第一个(尽管总存在n值,因此对于大小大于n的问题,第一个算法是最快的)。
注意,隐藏常量很大程度上取决于实现!
同样,在某些情况下,运行时不是输入大小 n的确定性函数。以使用快速排序的排序为例:对n个元素的数组进行排序所需的时间不是常数,而是取决于数组的起始配置。
时间复杂度不同:
一般情况(通常很难找出...)
...
R. Sedgewick和P. Flajolet撰写的《算法分析入门》就是很好的介绍。
如您所说,在优化代码时,应始终使用premature optimisation is the root of all evil
和(如果可能)分析。它甚至可以帮助您确定算法的复杂性。
在这里看到答案,我认为我们可以得出结论,我们大多数人确实确实通过查看算法并使用常识而不是使用例如我们在大学时所考虑的主方法进行计算来近似算法的阶数。话虽如此,我必须补充一点,即使是教授也鼓励我们(以后)实际考虑而不是仅仅进行计算。
我也想补充一下递归函数的用法:
假设我们有一个类似(scheme code)的函数:
(define (fac n)
(if (= n 0)
1
(* n (fac (- n 1)))))
递归计算给定数字的阶乘。
第一步是尝试仅在这种情况下确定函数主体的性能特征,主体上没有做任何特别的事情,只是一个乘法(或返回值1)。
因此,对于身体的性能为:O(1)(恒定)。
接下来,尝试确定此数目以进行递归调用。在这种情况下,我们有n-1个递归调用。
因此,递归调用的性能为:O(n-1)(阶数为n,因为我们丢弃了无关紧要的部分)。
然后将这两个放在一起,就可以得到整个递归函数的性能:
1 *(n-1)= O(n)
彼得,回答您提出的问题;我在这里描述的方法实际上可以很好地解决这个问题。但是请记住,这仍然是一个近似值,而不是一个完整的数学正确答案。这里描述的方法也是我们在大学里教过的方法之一,如果我没记错的话,它用于比本示例中使用的阶乘更高级的算法。
当然,这完全取决于您可以对函数主体的运行时间和递归调用的数量进行估算的能力,但是其他方法也是如此。
如果您的成本是多项式,则只需保留最高阶项,而无需乘数。例如:
O((N / 2 + 1)*(N / 2))= O(N 2 /4 + N / 2)= O(N 2 /4)= O(N 2)
请注意,这对于无限系列不起作用。尽管在某些常见情况下,以下不等式适用于一般情况,但没有单一的配方:
O(log N)<O(N)<O(N log N)<O(N 2)<O(N k)<O(e n)<O(n!)
我从信息方面考虑。任何问题都包括学习一定数量的位。
您的基本工具是决策点及其熵的概念。决策点的熵是它将为您提供的平均信息。例如,如果一个程序包含一个具有两个分支的决策点,那么它的熵就是每个分支的概率与该分支的逆概率的对数2之和。这就是您执行该决定所学到的东西。
例如,if
具有两个分支的语句(两个可能性均相等)的熵为1/2 * log(2/1)+ 1/2 * log(2/1)= 1/2 * 1 + 1/2 * 1 =1。因此它的熵是1位。
假设您正在搜索N个项目的表,例如N = 1024。那是一个10位的问题,因为log(1024)= 10位。因此,如果您可以使用具有相同可能结果的IF语句进行搜索,则应该做出10个决策。
这就是您通过二进制搜索得到的结果。
假设您正在执行线性搜索。您查看第一个元素,并询问它是否是您想要的元素。概率是1/1024,不是1023/1024。该决策的熵为1/1024 * log(1024/1)+ 1023/1024 * log(1024/1023)= 1/1024 * 10 + 1023/1024 *大约0 =大约0.01位。您学到的很少!第二个决定并不更好。这就是为什么线性搜索如此缓慢的原因。实际上,它是您需要学习的位数的指数。
假设您正在建立索引。假设该表已预先分类为许多bin,并且您使用键中的所有位中的某些位来直接索引该表项。如果有1024个bin,则对于所有1024个可能的结果,熵为1/1024 * log(1024)+ 1/1024 * log(1024)+ ... 这是1/1024 * 10乘以1024个结果,或该索引操作的10位熵。这就是为什么索引搜索速度快的原因。
现在考虑排序。您有N个项目,并且有一个列表。对于每个项目,您必须搜索该项目在列表中的位置,然后将其添加到列表中。因此,排序大约需要基础搜索步骤数的N倍。
因此,基于具有大致相同可能性结果的二元决策的排序全都需要O(N log N)个步骤。如果O(N)排序算法基于索引搜索,则可能是可行的。
我发现几乎所有算法性能问题都可以通过这种方式解决。
让我们从头开始。
首先,接受这样的原理,即可以对数据进行某些简单的操作O(1)
,即与输入大小无关的时间。这些在C中的原始运算包括
要证明此原理的正确性,需要对典型计算机的机器指令(原始步骤)进行详细研究。所描述的每个操作都可以使用少量的机器指令来完成。通常只需要一两个指令。结果,可以及时执行C中的几种语句O(1)
,即在一定的时间量内独立于输入。这些简单的包括
在C语言中,通过将索引变量初始化为某个值,并在每次循环时将该变量递增1,从而形成许多for循环。当索引达到某个限制时,for循环结束。例如,for循环
for (i = 0; i < n-1; i++)
{
small = i;
for (j = i+1; j < n; j++)
if (A[j] < A[small])
small = j;
temp = A[small];
A[small] = A[i];
A[i] = temp;
}
使用索引变量i。每次在循环中将i递增1,并且当i达到n − 1时,迭代将停止。
但是,目前,我们只关注简单的for循环形式,即最终值和初始值之间的差除以index变量递增的量后,将告诉我们循环多少次。除非有某种方法可以通过跳转语句退出循环,否则该计数是准确的。在任何情况下,它都是迭代次数的上限。
例如,for循环进行迭代((n − 1) − 0)/1 = n − 1 times
,因为0是i的初始值,n-1是i达到的最高值(即,当i达到n-1时,循环停止,并且在i = n-时不发生迭代1),并在循环的每次迭代中将1加到i。
在最简单的情况下,每次迭代在循环主体中花费的时间是相同的,我们可以将循环主体的big-oh上限乘以循环的次数。严格来说,我们必须添加O(1)时间来初始化循环索引,并添加O(1)时间以将循环索引与limit进行第一次比较,因为我们要比循环遍历多得多的时间。但是,除非可以执行零次循环,否则初始化循环和测试极限一次的时间是可以由求和规则删除的低阶项。
现在考虑以下示例:
(1) for (j = 0; j < n; j++)
(2) A[i][j] = 0;
我们知道第(1)行需要O(1)
时间。显然,我们绕了n次循环,因为我们可以确定,方法是从第(1)行的上限减去下限,然后加1。由于主体(2)的行需要O(1)的时间,我们可以忽略增加j的时间以及将j与n进行比较的时间,两者均为O(1)。因此,第(1)和第(2)行的运行时间是n和O(1)的乘积,即O(n)
。
类似地,我们可以限制由(2)到(4)行组成的外部循环的运行时间,即
(2) for (i = 0; i < n; i++)
(3) for (j = 0; j < n; j++)
(4) A[i][j] = 0;
我们已经确定线(3)和(4)的循环需要O(n)时间。因此,我们可以忽略O(1)的时间来增加i并在每次迭代中测试i <n是否为n,从而得出结论,外循环的每次迭代都需要O(n)时间。
外循环的初始化i = 0和条件i <n的第(n + 1)次测试同样花费O(1)时间,可以忽略。最后,我们观察到我们绕过了外循环n次,每次迭代都花费O(n)时间,从而给出了总的
O(n^2)
运行时间。
一个更实际的例子。
如果您想凭经验估计代码的顺序而不是通过分析代码,则可以坚持使用一系列递增的n值和时间来增加代码时间。在对数刻度上绘制您的时间。如果代码为O(x ^ n),则值应落在斜率n的直线上。
与仅研究代码相比,这具有多个优点。一方面,您可以查看您是否处于运行时间接近其渐近顺序的范围内。同样,您可能会发现某些您认为是阶O(x)的代码实际上是阶O(x ^ 2),例如,由于在库调用中花费了时间。
大O表示法很有用,因为它易于使用并隐藏了不必要的复杂性和细节(对于不必要的某种定义)。树法是解决分而治之算法复杂性的一种不错的方法。假设您有一个带有中值过程的quicksort版本,因此每次都将数组拆分为完全平衡的子数组。
现在,构建一个与您使用的所有阵列相对应的树。在根目录下,您拥有原始数组,在根目录下,有两个子数组,它们是子数组。重复此操作,直到底部有单个元素数组。
由于我们可以找到O(n)时间的中位数,并在O(n)时间中将数组分为两部分,因此每个节点的工作量为O(k),其中k是数组的大小。树的每个级别最多包含整个数组,因此每个级别的工作量为O(n)(子数组的大小总计n,并且由于每个级别有O(k),因此我们可以将其相加) 。自从我们每次将输入减半后,树中只有log(n)级别。
因此,我们可以通过O(n * log(n))来限制工作量。
但是,Big O隐藏了一些有时我们无法忽略的细节。考虑使用以下方法计算斐波那契数列
a=0;
b=1;
for (i = 0; i <n; i++) {
tmp = b;
b = a + b;
a = tmp;
}
并假设a和b是Java中的BigIntegers或可以处理任意大数的东西。大多数人会说这是一种O(n)算法,不会退缩。原因是在for循环中有n次迭代,而O(1)在循环中起作用。
但是斐波那契数很大,第n个斐波那契数在n中是指数的,因此仅存储它就需要n个字节的顺序。用大整数执行加法将需要O(n)的工作量。因此,此过程中完成的总工作量为
1 + 2 + 3 + ... + n = n(n-1)/ 2 = O(n ^ 2)
因此,该算法以四基时间运行!
我认为一般来说不太有用,但是为了完整起见,还有一个Big OmegaΩ(它定义了算法复杂度的下限),还有一个Big ThetaΘ(定义了上限和下限)。
将算法分解成您知道大O表示法的部分,然后通过大O运算符进行组合。那是我唯一知道的方法。
有关更多信息,请查看该主题的Wikipedia页面。
熟悉我使用的算法/数据结构和/或快速浏览迭代嵌套分析。困难在于您可能多次调用库函数-您经常不确定是否有时会不必要地调用该函数或它们正在使用哪种实现。也许库函数应该具有复杂性/效率度量,无论是Big O还是其他度量,可以在文档中甚至在IntelliSense中找到。
除了使用master方法(或其专业之一)之外,我还通过实验测试了我的算法。这不能证明可以实现任何特定的复杂性类,但是可以保证数学分析是适当的。为了保证这种安全,我将代码覆盖率工具与实验结合使用,以确保我能正确执行所有案例。
举一个非常简单的例子,您想对.NET框架的列表排序速度进行完整性检查。您可以编写类似以下内容的内容,然后在Excel中分析结果以确保它们不超过n * log(n)曲线。
在此示例中,我测量了比较的数量,但是检查每种样本大小所需的实际时间也是谨慎的。但是,然后您必须更加小心,仅在测量算法而不包括测试基础结构中的工件。
int nCmp = 0;
System.Random rnd = new System.Random();
// measure the time required to sort a list of n integers
void DoTest(int n)
{
List<int> lst = new List<int>(n);
for( int i=0; i<n; i++ )
lst[i] = rnd.Next(0,1000);
// as we sort, keep track of the number of comparisons performed!
nCmp = 0;
lst.Sort( delegate( int a, int b ) { nCmp++; return (a<b)?-1:((a>b)?1:0)); }
System.Console.Writeline( "{0},{1}", n, nCmp );
}
// Perform measurement for a variety of sample sizes.
// It would be prudent to check multiple random samples of each size, but this is OK for a quick sanity check
for( int n = 0; n<1000; n++ )
DoTest(n);
好问题!
免责声明:此答案包含错误的陈述,请参阅以下评论。
如果您使用的是Big O,则是在谈论最坏的情况(稍后会详细介绍)。此外,一般情况下有大写字母theta,最佳情况下有大笔欧米茄。
在此站点上可以找到有关Big O的漂亮正式定义:https : //xlinux.nist.gov/dads/HTML/bigOnotation.html
f(n)= O(g(n))表示存在正常数c和k,使得对于所有n≥k,0≤f(n)≤cg(n)。c和k的值必须对于函数f是固定的,并且不得依赖于n。
好的,那么现在我们所说的“最佳情况”和“最坏情况”复杂度是什么意思?
通过示例可以最清楚地说明这一点。例如,如果我们使用线性搜索在排序后的数组中查找数字,那么最坏的情况是我们决定搜索数组的最后一个元素,因为这将花费与数组中所有项一样多的步骤。在最好的情况是,当我们搜索第一要素,因为我们会先检查后进行。
所有这些形容词-情况复杂性的意义在于,我们正在寻找一种方法来根据特定变量的大小来绘制假设程序运行到完成所需的时间。但是,对于许多算法,您可能会争辩说,特定大小的输入不会一次出现。请注意,这与一项功能的基本要求相矛盾,任何输入最多只能有一个输出。因此,我们提出了多个函数来描述算法的复杂性。现在,即使搜索大小为n的数组可能会花费不同的时间,具体取决于您在数组中寻找的内容以及与n成正比的关系,我们仍可以使用最佳情况,平均情况来创建该算法的详尽描述和最坏情况的类。
抱歉,这是如此糟糕,并且缺乏很多技术信息。但是希望它将使时间复杂度类更容易考虑。一旦您对这些感到满意,那么就很容易解析程序,然后寻找诸如for循环之类的事情,这些事情取决于数组的大小,并根据您的数据结构进行推理,什么样的输入会导致琐碎的情况,哪些输入会导致结果。在最坏的情况下。
我不知道如何以编程方式解决此问题,但人们要做的第一件事是我们对完成的操作数中的某些模式进行算法采样,例如4n ^ 2 + 2n + 1,我们有2条规则:
如果简化f(x),其中f(x)是完成的操作数的公式,(4n ^ 2 + 2n + 1上面已解释),我们将在其中获得big-O值[O(n ^ 2)案件]。但这必须考虑程序中的Lagrange插值,这可能很难实现。而且,如果真正的big-O值为O(2 ^ n),又可能有O(x ^ n)之类的东西,那么该算法可能将无法编程。但是如果有人证明我错了,请给我密码。。。。