关于多线程的Pandas和Numpy怪异错误

默认情况下，大多数Numpy函数都会启用多线程。

例如，如果我运行脚本，我将在8核Intel cpu工作站上工作

import numpy as np    
x=np.random.random(1000000)
for i in range(100000):
    np.sqrt(x)

linux top将在运行期间显示800％的cpu使用率，例如 numpy表示numpy自动检测到我的工作站具有8个核心，并np.sqrt自动使用所有8个核心来加速计算。

但是，我发现了一个奇怪的错误。如果我运行脚本

import numpy as np
import pandas as pd
df=pd.DataFrame(np.random.random((10,10)))
df+df
x=np.random.random(1000000)
for i in range(100000):
    np.sqrt(x)

CPU使用率是100％！！ 这意味着，如果在运行任何numpy函数之前加上两个pandas DataFrame，则numpy的自动多线程功能将消失，而不会发出任何警告！这绝对是不合理的，为什么Pandas dataFrame计算会影响Numpy线程设置？是虫子吗？如何解决这个问题？

PS：

我进一步使用Linux perf工具进行挖掘。

运行第一个脚本显示

运行第二个脚本时显示

因此，这两个脚本都涉及libmkl_vml_avx2.so，而第一个脚本则涉及其他libiomp5.so与openMP有关的脚本。

而且由于vml意味着intel向量数学库，所以根据vml doc，我猜至少下面的函数都是自动多线程的

Pandas numexpr在后台使用一些运算来计算，并numexpr在导入 vml时将 vml的最大线程数设置为1 ：

# The default for VML is 1 thread (see #39)
set_vml_num_threads(1)

当df+df在expressions.py中求值时，它会被熊猫导入：

from pandas.core.computation.check import _NUMEXPR_INSTALLED

if _NUMEXPR_INSTALLED:
   import numexpr as ne

然而，水蟒分布也使用VML的功能用于这样的功能如sqrt，sin，cos等等-并且一旦numexpr设置VML线程的最大数目为1时，numpy的函数不再使用并行化。

在gdb中可以很容易地看到问题（使用慢速脚本）：

>>> gdb --args python slow.py
(gdb) b mkl_serv_domain_set_num_threads
function "mkl_serv_domain_set_num_threads" not defined.
Make breakpoint pending on future shared library load? (y or [n]) y
Breakpoint 1 (mkl_serv_domain_set_num_threads) pending.
(gbd) run
Thread 1 "python" hit Breakpoint 1, 0x00007fffee65cd70 in mkl_serv_domain_set_num_threads () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
(gdb) bt 
#0  0x00007fffee65cd70 in mkl_serv_domain_set_num_threads () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
#1  0x00007fffe978026c in _set_vml_num_threads(_object*, _object*) () from /home/ed/anaconda37/lib/python3.7/site-packages/numexpr/interpreter.cpython-37m-x86_64-linux-gnu.so
#2  0x00005555556cd660 in _PyMethodDef_RawFastCallKeywords () at /tmp/build/80754af9/python_1553721932202/work/Objects/call.c:694
...
(gdb) print $rdi
$1 = 1

即我们可以看到，numexpr将线程数设置为1。稍后在调用vml-sqrt函数时使用：

(gbd) b mkl_serv_domain_get_max_threads
Breakpoint 2 at 0x7fffee65a900
(gdb) (gdb) c
Continuing.

Thread 1 "python" hit Breakpoint 2, 0x00007fffee65a900 in mkl_serv_domain_get_max_threads () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
(gdb) bt
#0  0x00007fffee65a900 in mkl_serv_domain_get_max_threads () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
#1  0x00007ffff01fcea9 in mkl_vml_serv_threader_d_1i_1o () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
#2  0x00007fffedf78563 in vdSqrt () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_lp64.so
#3  0x00007ffff5ac04ac in trivial_two_operand_loop () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/core/_multiarray_umath.cpython-37m-x86_64-linux-gnu.so

因此，我们可以看到numpy使用vml的实现，vdSqrt该实现mkl_vml_serv_threader_d_1i_1o用于确定是否应该并行执行计算，并且看起来线程数：

(gdb) fin
Run till exit from #0  0x00007fffee65a900 in mkl_serv_domain_get_max_threads () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
0x00007ffff01fcea9 in mkl_vml_serv_threader_d_1i_1o () from /home/ed/anaconda37/lib/python3.7/site-packages/numpy/../../../libmkl_intel_thread.so
(gdb) print $rax
$2 = 1

寄存器%rax的最大线程数为1。

现在，我们可以使用numexpr来提高VML，线程数，即：

import numpy as np
import numexpr as ne
import pandas as pd
df=pd.DataFrame(np.random.random((10,10)))
df+df

#HERE: reset number of vml-threads
ne.set_vml_num_threads(8)

x=np.random.random(1000000)
for i in range(10000):
    np.sqrt(x)     # now in parallel

现在利用了多个内核！

看一下numpy，看起来它在多线程处理下存在开/关问题，并且根据所使用的版本，当您碰到ne.set_vml_num_threads（）时，可能希望开始看到崩溃。

http://numpy-discussion.10968.n7.nabble.com/ANN-NumExpr-2-7-0-Release-td47414.html

给定您的代码示例，在某种程度上似乎可以允许对np.sqrt（）的多个显然同步/有序的调用并行进行，因此我需要弄清楚如何将其粘合到python解释器中。我猜想，如果python解释器在弹出堆栈时始终只是返回对对象的引用，并且在您的示例中，只是倾斜这些引用，而不以任何方式分配或操纵它们就好了。但是，如果后续的循环迭代依赖于先前的迭代，那么似乎还不清楚如何安全地并行化它们。可以说，无声的失败/错误的结果比崩溃更糟糕。

我认为您最初的前提可能不正确-

您说：这意味着numpy自动检测到我的工作站具有8个内核，而np.sqrt自动使用所有8个内核来加速计算。

单个函数np.sqrt（）无法猜测它将在部分完成之前如何被调用或返回。python中有并行机制，但是没有一种是自动的。

现在，尽管如此，python解释器也许可以优化for循环的并行性，这也许就是您所看到的，但是我强烈怀疑，如果您查看执行此循环的时间，那将不是不管您是（显然）使用8核还是1核。

更新：阅读了更多评论后，您似乎看到的多核行为与python解释器的anaconda发行版有关。我看了一下，但是找不到任何源代码，但是python许可证似乎允许实体（例如anaconda.com）编译并分发解释器的派生类，而无需发布其更改。

我猜想您可以与anaconda的人们接触-如果不知道他们在解释器中所做的更改，则很难弄清您所看到的行为。

也可以快速检查挂钟时间，选择是否进行优化，以查看是否确实快8倍-即使您真的将所有8个内核都工作了，而不是1个，也最好知道结果是否实际上是8倍速度更快，或者是否有正在使用的自旋锁仍在单个互斥锁上进行序列化。