生成器表达式与列表理解

什么时候应该使用生成器表达式，什么时候应该在Python中使用列表推导？

# Generator expression
(x*2 for x in range(256))

# List comprehension
[x*2 for x in range(256)]

John的答案很好（当您要迭代多次时，列表理解会更好）。但是，还应注意，如果要使用任何列表方法，都应使用列表。例如，以下代码将不起作用：

def gen():
    return (something for something in get_some_stuff())

print gen()[:2]     # generators don't support indexing or slicing
print [5,6] + gen() # generators can't be added to lists

基本上，如果您要做的只是迭代一次，则使用生成器表达式。如果要存储和使用生成的结果，则最好使用列表理解功能。

由于性能是选择彼此的最常见原因，所以我的建议是不要担心它，而只选择一个即可。如果您发现程序运行速度太慢，则只有这样，您才应回去担心调整代码。

遍历生成器表达式或列表理解将执行相同的操作。但是，列表理解将首先在内存中创建整个列表，而生成器表达式将在运行中创建项目，因此您可以将其用于非常大的（也可以是无限的！）序列。

当结果需要多次迭代或速度至关重要时，请使用列表推导。使用范围较大或无限的生成器表达式。

有关更多信息，请参见生成器表达式和列表推导。

重要的是列表理解会创建一个新列表。生成器创建一个可迭代的对象，当您使用这些位时，它将动态“过滤”源材料。

假设您有一个名为“ hugefile.txt”的2TB日志文件，并且想要以单词“ ENTRY”开头的所有行的内容和长度。

因此，您尝试通过编写列表理解来开始：

logfile = open("hugefile.txt","r")
entry_lines = [(line,len(line)) for line in logfile if line.startswith("ENTRY")]

这样会抓取整个文件，处理每一行，并将匹配的行存储在数组中。因此，此阵列最多可以包含2TB的内容。那会占用很多RAM，对于您的目的可能不切实际。

因此，我们可以使用生成器将“过滤器”应用于我们的内容。直到我们开始遍历结果之前，才实际读取任何数据。

logfile = open("hugefile.txt","r")
entry_lines = ((line,len(line)) for line in logfile if line.startswith("ENTRY"))

甚至没有从我们的文件中读取任何一行。实际上，假设我们想进一步过滤结果：

long_entries = ((line,length) for (line,length) in entry_lines if length > 80)

仍未读取任何内容，但是我们现在指定了两个生成器，它们将根据需要对数据起作用。

让我们将过滤后的行写到另一个文件中：

outfile = open("filtered.txt","a")
for entry,length in long_entries:
    outfile.write(entry)

现在我们读取输入文件。随着for循环继续请求其他行，long_entries生成器要求生成器提供行entry_lines，仅返回长度大于80个字符的行。然后，entry_lines生成器从logfile迭代迭代器读取文件。

因此，不是以完全填充列表的形式将数据“推送”到输出函数，而是为输出函数提供了一种仅在需要时才“拉”数据的方法。在我们的情况下，这要高效得多，但不够灵活。生成器是一种方式，一次通过。我们读取的日志文件中的数据会立即被丢弃，因此我们无法返回上一行。另一方面，完成数据后，我们不必担心保留数据。

生成器表达式的好处是它使用较少的内存，因为它不会立即构建整个列表。当列表是中间变量时，最好使用生成器表达式，例如对结果求和或根据结果创建字典。

例如：

sum(x*2 for x in xrange(256))

dict( (k, some_func(k)) for k in some_list_of_keys )

这样做的好处是列表不会完全生成，因此使用的内存很少（而且应该更快）

但是，当所需的最终产品是列表时，应该使用列表推导。您将不会使用生成器表达式保存任何内存，因为您需要生成的列表。您还可以获得能够使用任何列表功能（如已排序或反转）的好处。

例如：

reversed( [x*2 for x in xrange(256)] )

从可变对象（如列表）创建生成器时，请注意，生成器将在使用生成器时（而不是在创建生成器时）根据列表的状态进行评估：

>>> mylist = ["a", "b", "c"]
>>> gen = (elem + "1" for elem in mylist)
>>> mylist.clear()
>>> for x in gen: print (x)
# nothing

如果您的列表有可能被修改（或列表中的可变对象），但是您需要在生成器创建时的状态，则需要使用列表推导。

有时，您可以从itertools中使用tee函数，它为同一生成器返回多个迭代器，这些迭代器可以独立使用。

我正在使用Hadoop Mincemeat模块。我认为这是一个值得注意的好例子：

import mincemeat

def mapfn(k,v):
    for w in v:
        yield 'sum',w
        #yield 'count',1


def reducefn(k,v): 
    r1=sum(v)
    r2=len(v)
    print r2
    m=r1/r2
    std=0
    for i in range(r2):
       std+=pow(abs(v[i]-m),2)  
    res=pow((std/r2),0.5)
    return r1,r2,res

在这里，生成器从文本文件（最大为15GB）中获取数字，并使用Hadoop的map-reduce对这些数字进行简单的数学运算。如果我没有使用yield函数，而是使用列表理解，那么计算总和和平均值将花费更长的时间（更不用说空间复杂性了）。

Hadoop是利用Generators的所有优点的一个很好的例子。