什么时候不是使用python生成器的好时机？

这与您可以使用Python生成器函数做什么相反呢？：python生成器，生成器表达式和itertools模块是这些天我最喜欢的python功能。当设置操作链以对大量数据执行时，它们特别有用-我在处理DSV文件时经常使用它们。

那么什么时候不是使用生成器，生成器表达式或itertools函数的好时机？

• 我什么时候应该更喜欢zip()了itertools.izip()，或者
• range()在xrange()或
• [x for x in foo]结束了(x for x in foo)？

显然，我们最终需要通常通过创建列表或使用非生成器循环对其进行迭代来将生成器“解析”为实际数据。有时我们只需要知道长度即可。这不是我要的

我们使用生成器，以便我们不会将新列表分配到内存中以存储临时数据。这对于大型数据集尤其有意义。小型数据集也有意义吗？是否存在明显的内存/ CPU权衡？

考虑到列表理解性能与map（）和filter（）的令人大开眼界的讨论，如果有人对此进行了分析，我尤其感兴趣。（alt链接）

在以下情况下，使用列表而不是生成器：

1）您需要访问数据的多个时间（即高速缓存的结果，而不是重新计算它们的）：

for i in outer:           # used once, okay to be a generator or return a list
    for j in inner:       # used multiple times, reusing a list is better
         ...

2）您需要随机访问（或除正向顺序之外的任何访问）：

for i in reversed(data): ...     # generators aren't reversible

s[i], s[j] = s[j], s[i]          # generators aren't indexable

3）您需要连接字符串（这需要对数据进行两次传递）：

s = ''.join(data)                # lists are faster than generators in this use case

4）您使用的PyPy有时无法像正常函数调用和列表操作那样优化生成器代码。

通常，当需要列表操作（例如len（），reversed（）等）时，不要使用生成器。

有时候，您可能不需要懒惰的评估（例如，预先进行所有计算，以便释放资源）。在这种情况下，列表表达式可能会更好。

个人资料，个人资料，个人资料。

对代码进行性能分析是唯一了解您正在执行的操作是否有效的方法。

xrange，生成器等的大多数用法都超过了静态大小，小型数据集。只有当您访问大型数据集时，它才真正发挥作用。range（）与xrange（）基本上只是使代码看起来更难看一点，并且不会丢失任何东西，甚至可能有所收获。

个人资料，个人资料，个人资料。

你不应该偏向zip过izip，range过xrange，或者在发电机链表推导。在Python 3.0中range具有xrange类似的语义，并且zip具有izip样的语义。

实际上，列表理解更清晰，就像list(frob(x) for x in foo)那些您需要实际列表的时候一样。

正如您提到的，“这对于大型数据集特别有意义”，我认为这回答了您的问题。

如果您在性能方面没有碰壁，您仍然可以坚持使用列表和标准功能。然后，当您遇到性能问题时，请进行切换。

如@ u0b34a0f6ae在评论中所述，但是，在一开始使用生成器可以使您更轻松地扩展到更大的数据集。

关于性能：如果使用psyco，列表可以比生成器快很多。在下面的示例中，使用psyco.full（）时，列表的速度几乎提高了50％

import psyco
import time
import cStringIO

def time_func(func):
    """The amount of time it requires func to run"""
    start = time.clock()
    func()
    return time.clock() - start

def fizzbuzz(num):
    """That algorithm we all know and love"""
    if not num % 3 and not num % 5:
        return "%d fizz buzz" % num
    elif not num % 3:
        return "%d fizz" % num
    elif not num % 5:
        return "%d buzz" % num
    return None

def with_list(num):
    """Try getting fizzbuzz with a list comprehension and range"""
    out = cStringIO.StringIO()
    for fibby in [fizzbuzz(x) for x in range(1, num) if fizzbuzz(x)]:
        print >> out, fibby
    return out.getvalue()

def with_genx(num):
    """Try getting fizzbuzz with generator expression and xrange"""
    out = cStringIO.StringIO()
    for fibby in (fizzbuzz(x) for x in xrange(1, num) if fizzbuzz(x)):
        print >> out, fibby
    return out.getvalue()

def main():
    """
    Test speed of generator expressions versus list comprehensions,
    with and without psyco.
    """

    #our variables
    nums = [10000, 100000]
    funcs = [with_list, with_genx]

    #  try without psyco 1st
    print "without psyco"
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

    #  now with psyco
    print "with psyco"
    psyco.full()
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

if __name__ == "__main__":
    main()

结果：

without psyco
  number: 10000
with_list 0.0519102208309 seconds
with_genx 0.0535933367509 seconds

  number: 100000
with_list 0.542204280744 seconds
with_genx 0.557837353115 seconds

with psyco
  number: 10000
with_list 0.0286369007033 seconds
with_genx 0.0513424889137 seconds

  number: 100000
with_list 0.335414877839 seconds
with_genx 0.580363490491 seconds

就性能而言，我想不出要在生成器上使用列表的任何时候。

我从未发现过发电机会阻碍您尝试执行的操作的情况。但是，在很多情况下，使用生成器会比不使用生成器有所帮助。

例如：

sorted(xrange(5))

在以下方面未提供任何改进：

sorted(range(5))

如果以后需要将值保留在其他位置并且集合的大小不太大，则应该使用列表推导。

例如：您正在创建一个列表，稍后您将在程序中循环多次。

在某种程度上，您可以将生成器视为迭代（循环）的替代品，而不是列表理解作为数据结构初始化的一种类型。如果要保留数据结构，请使用列表推导。