py.test运行成功后,模块“线程化”中的KeyError


68

我正在使用py.test运行一组测试。他们通过了。耶皮!但我收到此消息:

Exception KeyError: KeyError(4427427920,) in <module 'threading' from '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.pyc'> ignored

我应该如何追踪其来源?(我不是直接使用线程,而是在使用gevent。)

Answers:


217

我观察到类似的问题,并决定确切地了解发生了什么-让我描述一下我的发现。我希望有人会觉得有用。

短篇故事

它确实与猴子修补threading模块有关。实际上,通过在猴子修补线程之前导入线程模块,我可以轻松触发异常。以下两行就足够了:

import threading
import gevent.monkey; gevent.monkey.patch_thread()

执行时,它会吐出有关忽略的消息KeyError

(env)czajnik@autosan:~$ python test.py 
Exception KeyError: KeyError(139924387112272,) in <module 'threading' from '/usr/lib/python2.7/threading.pyc'> ignored

如果交换导入行,问题就消失了。

很长的故事

我可以在这里停止调试,但是我认为值得了解问题的确切原因。

第一步是找到打印有关被忽略异常的消息的代码。我很难找到它(Exception.*ignored一无所获),但是在CPython源代码void PyErr_WriteUnraisable(PyObject *obj)反复探寻,我终于找到了一个在Python / error.c中调用的函数,上面有一个非常有趣的注释:

/* Call when an exception has occurred but there is no way for Python
   to handle it.  Examples: exception in __del__ or during GC. */

我决定在的少许帮助下检查谁在调用它,gdb只是为了获得以下C级堆栈跟踪:

#0  0x0000000000542c40 in PyErr_WriteUnraisable ()
#1  0x00000000004af2d3 in Py_Finalize ()
#2  0x00000000004aa72e in Py_Main ()
#3  0x00007ffff68e576d in __libc_start_main (main=0x41b980 <main>, argc=2,
    ubp_av=0x7fffffffe5f8, init=<optimized out>, fini=<optimized out>, 
    rtld_fini=<optimized out>, stack_end=0x7fffffffe5e8) at libc-start.c:226
#4  0x000000000041b9b1 in _start ()

现在我们可以清楚地看到在执行Py_Finalize时引发了异常-此调用负责关闭Python解释器,释放分配的内存等。它在退出之前被调用。

下一步是查看Py_Finalize()代码(在Python / pythonrun.c中)。它发出的第一个调用是wait_for_thread_shutdown()-值得研究,因为我们知道问题与线程有关。该函数依次调用模块中的_shutdowncallable threading。好的,我们现在可以回到python代码。

看一下,threading.py我发现了以下有趣的部分:

class _MainThread(Thread):

    def _exitfunc(self):
        self._Thread__stop()
        t = _pickSomeNonDaemonThread()
        if t:
            if __debug__:
                self._note("%s: waiting for other threads", self)
        while t:
            t.join()
            t = _pickSomeNonDaemonThread()
        if __debug__:
            self._note("%s: exiting", self)
        self._Thread__delete()

# Create the main thread object,
# and make it available for the interpreter
# (Py_Main) as threading._shutdown.

_shutdown = _MainThread()._exitfunc

显然,threading._shutdown()调用的责任是加入所有非守护进程线程并删除主线程(无论这是什么意思)。我决定打个补丁threading.py-_exitfunc()try/包裹整个身体,except并使用traceback模块打印堆栈跟踪。这给出了以下跟踪:

Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 785, in _exitfunc
    self._Thread__delete()
  File "/usr/lib/python2.7/threading.py", line 639, in __delete
    del _active[_get_ident()]
KeyError: 26805584

现在我们知道引发异常的确切位置-内部Thread.__delete()方法。

阅读threading.py一段时间后,故事的其余部分显而易见。该_active字典映射线程ID(通过返回的_get_ident()),以Thread实例,对创建的所有线程。当threading模块被加载,实例_MainThread类始终是创建并添加到_active(即使是明确创建其他线程)。

问题在于,gevent猴子的修补方法之一是将_get_ident()原始方法映射到原始方法thread.get_ident(),而猴子的修补方法将其替换为green_thread.get_ident()。显然,两个调用都为主线程返回不同的ID。

现在,如果threading在猴子修补之前加载了模块,则在创建实例并将其添加到实例_get_ident()时,call返回一个值,而此时又调用另一个值-因此是in 。_MainThread_active_exitfunc()KeyErrordel _active[_get_ident()]

相反,如果在threading加载之前完成了猴子补丁,那么一切都很好-在将_MainThread实例添加到时_active_get_ident()已经进行了补丁,并且在清理时返回了相同的线程ID。而已!

为了确保以正确的顺序导入模块,在猴子补丁调用之前,我向代码中添加了以下代码段:

import sys
if 'threading' in sys.modules:
        raise Exception('threading module loaded before patching!')
import gevent.monkey; gevent.monkey.patch_thread()

我希望您发现我的调试故事很有用:)


5
很好的答案,但是TLDR;您的进口商品顺序错误,请确保您的第一批进口商品import gevent.monkey; gevent.monkey.patch_all()随后是您要进口的其他商品
cerberos 2013年

9
这正是我上面所说的-导入顺序很重要。
代码画家


1

我在gevent原型脚本中遇到了类似的问题。

Greenlet回调执行得很好,我通过g.join()回到了主线程。对于我的问题,我不得不调用gevent.shutdown()来关闭(假设是)集线器。在我手动关闭事件循环后,程序会正确终止,而不会出现该错误。


2
+1-但我想问的是如何找到问题的根源,而不是如何解决问题。
kkurian 2012年

2
使用gevent进行测试时,我看到了同样的事情nose。奇怪的是,当测试全部通过时,我看不到错误,但是当测试失败时,我看到了错误。我正在使用monkey.patch_all()。值得注意的是,当我这样做时monkey.patch_all(thread=False),错误就会消失。
millerdev

跟踪错误可能非常困难。如果我了解此问题,则与正在运行的后台线程有关。看来问题出在主线程在后台线程能够完成其工作之前终止。主线程终止产生的中断必须导致程序引发异常。我认为解决此问题的最佳方法是在关闭主进程之前确保所有线程都已完成处理。
克里斯(Kris)

@Kris我对困难和可能导致问题的原因都表示同意。对我来说不清楚的是什么触发了线程,线程在做什么以及为什么它们没有正确完成。我猜我只是假设这是gevent中的东西,我正在做的一切都很好,并且gevent.shutdown()会做正确的事情。谢谢你的帮助!
kkurian

@Daniel:您可能想看一下我的文章:blog.codepainters.com/2012/11/20/…–
Code Painters
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.