我在Python中有一个列表列表：
k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]我想从中删除重复的元素。如果这是正常列表，而不是我可以使用的列表set。但不幸的是，该列表不可散列，因此无法建立一组列表。只有元组。因此，我可以将所有列表转换为元组，然后使用set并返回列表。但这不是很快。
如何以最有效的方式做到这一点？
上面的结果应为：
k = [[5, 6, 2], [1, 2], [3], [4]]我不在乎保留订单。
注意：这个问题很相似，但不是我所需要的。搜索了SO，但没有找到确切的重复项。
基准测试：
import itertools, time
class Timer(object):
def __init__(self, name=None):
self.name = name
def __enter__(self):
self.tstart = time.time()
def __exit__(self, type, value, traceback):
if self.name:
print '[%s]' % self.name,
print 'Elapsed: %s' % (time.time() - self.tstart)
k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [5, 2], [6], [8], [9]] * 5
N = 100000
print len(k)
with Timer('set'):
for i in xrange(N):
kt = [tuple(i) for i in k]
skt = set(kt)
kk = [list(i) for i in skt]
with Timer('sort'):
for i in xrange(N):
ks = sorted(k)
dedup = [ks[i] for i in xrange(len(ks)) if i == 0 or ks[i] != ks[i-1]]
with Timer('groupby'):
for i in xrange(N):
k = sorted(k)
dedup = list(k for k, _ in itertools.groupby(k))
with Timer('loop in'):
for i in xrange(N):
new_k = []
for elem in k:
if elem not in new_k:
new_k.append(elem)对于短列表，“循环”（二次方方法）最快。对于长列表，它比除groupby方法外的每个人都快。这有意义吗？
对于短列表（代码中的一个），进行100000次迭代：
[set] Elapsed: 1.3900001049
[sort] Elapsed: 0.891000032425
[groupby] Elapsed: 0.780999898911
[loop in] Elapsed: 0.578000068665对于更长的列表（代码中的一个重复了5次）：
[set] Elapsed: 3.68700003624
[sort] Elapsed: 3.43799996376
[groupby] Elapsed: 1.03099989891
[loop in] Elapsed: 1.85900020599
1
所谓“这不是很快的”，您是说您已经计时了，并且它对于您的应用程序来说不够快，还是您认为它不够快？
—
Torsten Marek
@Torten，似乎太过模仿以致无法复制。对不起，直觉。将列表复制到元组，然后放入集合，然后返回列表列表（再次将元组复制到列表）
—
zaharpopov 2010年
@zaharpopov：那不是Python的工作方式，什么也不会被复制，只是现有元素的新容器（尽管对于int来说，几乎是相同的）
—
Jochen Ritzel 2010年
1.使用排序方法的时间已确定，因为“ k”反弹到排序变量。2.最后一种方法更快，因为生成测试数据的方式最多可以包含4个不同的元素。尝试某事。像K = [[int（u）for u in str（random.randrange（1，1000））] _ in range（100）]
—
Torsten Marek 2010年
@Torsten：固定谢谢。但即使10个列表中只有一个重复项，循环方法仍然是快速的
—
zaharpopov 2010年