将nan值转换为零


95

我有一个二维的numpy数组。此数组中的一些值为NaN。我想使用此数组执行某些操作。例如考虑数组:

[[   0.   43.   67.    0.   38.]
 [ 100.   86.   96.  100.   94.]
 [  76.   79.   83.   89.   56.]
 [  88.   NaN   67.   89.   81.]
 [  94.   79.   67.   89.   69.]
 [  88.   79.   58.   72.   63.]
 [  76.   79.   71.   67.   56.]
 [  71.   71.   NaN   56.  100.]]

我试图每次取一行,以相反的顺序对其进行排序,以从行中获取最多3个值并取其平均值。我试过的代码是:

# nparr is a 2D numpy array
for entry in nparr:
    sortedentry = sorted(entry, reverse=True)
    highest_3_values = sortedentry[:3]
    avg_highest_3 = float(sum(highest_3_values)) / 3

这不适用于包含的行NaN。我的问题是,有没有一种快速的方法可以将NaN2D numpy数组中的所有值都转换为零,这样我就不会遇到排序和其他尝试执行的操作。


1
each: map: return isNaN(value) ? 0 : value
kirilloid

@kirilloid:听起来不错,示例用法如何?
serv-inc

Answers:


122

这应该工作:

from numpy import *

a = array([[1, 2, 3], [0, 3, NaN]])
where_are_NaNs = isnan(a)
a[where_are_NaNs] = 0

在上述情况下,where_are_NaNs为:

In [12]: where_are_NaNs
Out[12]: 
array([[False, False, False],
       [False, False,  True]], dtype=bool)

138

A您的2D阵列在哪里:

import numpy as np
A[np.isnan(A)] = 0

该函数isnan产生一个布尔数组,指示NaN值在哪里。布尔数组可用于索引相同形状的数组。认为它就像一个面具。


40

11
nan_to_num()也会更改无穷大-在某些情况下这可能是不需要的。
阿戈斯

11
它的速度也比其他方法慢10倍。
user48956 '18

7
我不确定tat“> 10倍慢”语句,所以我检查了一下。确实,它要慢得多。感谢您指出了这一点。
加百利

16

您可以np.where用来查找您的位置NaN

import numpy as np

a = np.array([[   0,   43,   67,    0,   38],
              [ 100,   86,   96,  100,   94],
              [  76,   79,   83,   89,   56],
              [  88,   np.nan,   67,   89,   81],
              [  94,   79,   67,   89,   69],
              [  88,   79,   58,   72,   63],
              [  76,   79,   71,   67,   56],
              [  71,   71,   np.nan,   56,  100]])

b = np.where(np.isnan(a), 0, a)

In [20]: b
Out[20]: 
array([[   0.,   43.,   67.,    0.,   38.],
       [ 100.,   86.,   96.,  100.,   94.],
       [  76.,   79.,   83.,   89.,   56.],
       [  88.,    0.,   67.,   89.,   81.],
       [  94.,   79.,   67.,   89.,   69.],
       [  88.,   79.,   58.,   72.,   63.],
       [  76.,   79.,   71.,   67.,   56.],
       [  71.,   71.,    0.,   56.,  100.]])

1
由于它是行不通的,因此您需要更改np.where(np.isnan(a), a, 0)np.where(~np.isnan(a), a, 0)。不过,这可能与所使用的版本有所不同。
TehTris'3

1
@TehTris你说的对,谢谢。我将其更改为比我认为b = np.where(np.isnan(a), 0, a)更简单的方法~
安东·普罗托波夫

10

德雷克使用答案的代码示例nan_to_num

>>> import numpy as np
>>> A = np.array([[1, 2, 3], [0, 3, np.NaN]])
>>> A = np.nan_to_num(A)
>>> A
array([[ 1.,  2.,  3.],
       [ 0.,  3.,  0.]])

3

您可以使用numpy.nan_to_num

numpy.nan_to_num(X):替换INF有限数

示例(请参阅doc):

>>> np.set_printoptions(precision=8)
>>> x = np.array([np.inf, -np.inf, np.nan, -128, 128])
>>> np.nan_to_num(x)
array([  1.79769313e+308,  -1.79769313e+308,   0.00000000e+000,
        -1.28000000e+002,   1.28000000e+002])

1

nan永远不等于nan

if z!=z:z=0

所以对于二维数组

for entry in nparr:
    if entry!=entry:entry=0

这不起作用:entry是一维数组,因此测试entry != entry不会给出简单的布尔值,而是引发ValueError
Eric O Lebigot

-1

您可以使用lambda函数,这是一维数组的示例:

import numpy as np
a = [np.nan, 2, 3]
map(lambda v:0 if np.isnan(v) == True else v, a)

这将为您提供结果:

[0, 2, 3]

-7

出于您的目的,如果所有项目都存储为str并且您只是按使用的方式使用sorted,然后检查第一个元素并将其替换为“ 0”

>>> l1 = ['88','NaN','67','89','81']
>>> n = sorted(l1,reverse=True)
['NaN', '89', '88', '81', '67']
>>> import math
>>> if math.isnan(float(n[0])):
...     n[0] = '0'
... 
>>> n
['0', '89', '88', '81', '67']

6
您的评论不刺耳吗?我知道什么是numpy,但确实知道该数组不会是数字的字符串表示形式。我特别不是从numpy的角度来看这个,而是从python的角度看,如果这样做有用的话。
Senthil Kumaran

1
重新排列数组听起来像是解决此问题的一种混乱方法。
holografix
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.