如何在NumPy中标准化数组?


202

我想拥有一个NumPy数组的规范。更具体地说,我正在寻找此功能的等效版本

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

skearn或中有类似的东西numpy吗?

该函数在v向量为0 的情况下起作用。


3
你写的东西怎么了?
ali_m 2014年

5
如果这确实是一个问题,则应检查norm <epsilon,其中epsilon是小的公差。另外,我不会默默地传回规范零向量,我会raise例外!
上钩

4
我的函数可以工作,但是我想知道python的更通用库中是否有东西。我正在编写不同的机器学习功能,并且我想避免定义太多的新功能以使代码更清晰易读
Donbeo 2014年

1
我进行了一些快速测试,发现与CPU上的numpy 1.15.1 x/np.linalg.norm(x)相比x/np.sqrt((x**2).sum()),它的运行速度(约15-20%)并不慢。
比尔

Answers:


160

如果您使用的是scikit-learn,则可以使用sklearn.preprocessing.normalize

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True

2
感谢您的回答,但您确定sklearn.preprocessing.normalize也可以用于shape =(n,)或(n,1)的矢量吗?我在使用此库时遇到了一些问题
Donbeo 2014年

normalize需要2D输入。您可以传递axis=参数以指定是否要对输入数组的行或列应用规范化。
ali_m 2014年

9
请注意,规范化函数的'norm'参数可以为'l1'或'l2',默认值为'l2'。如果希望向量的总和为1(例如,概率分布),则应在规范化函数中使用norm ='l1'。
阿什2015年

2
另请注意,np.linalg.norm(x)默认情况下会计算“ l2”范数。如果希望向量的总和为1,则应使用np.linalg.norm(x, ord=1)
Omid,

注意:x必须ndarray与该normalize()函数一起使用。否则可能是一个list
Ramin Melikov

46

我同意,如果这样的功能是随附电池的一部分,那就太好了。但据我所知不是。这是适用于任意轴并提供最佳性能的版本。

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))

我没有深入测试ali_m解决方案,但在某些简单情况下,它似乎正在工作。在某些情况下,您的功能会更好吗?
Donbeo 2014年

1
我不知道; 但它可以在任意轴上工作,并且我们可以明确控制长度为0的向量的情况。
Eelco Hoogendoorn 2014年

1
非常好!这应该是numpy的-尽管我认为顺序可能应该在轴之前。
Neil G

@EelcoHoogendoorn很好奇,为什么选择order = 2而不是其他?
亨利·桑顿

7
因为Euclidian / pythagoran规范恰好是最常用的规范;你不同意吗?
Eelco Hoogendoorn 2015年

21

您可以指定ord以获得L1范数。为了避免零除,我使用了eps,但这可能不是很好。

def normalize(v):
    norm=np.linalg.norm(v, ord=1)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm

6
使[inf, 1, 2]收益正常化[nan, 0, 0],不是[1, 0, 0]吗?
pasbi

12

这可能也适合您

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

但在v长度为0 时失败。


10

如果您具有多维数据,并且希望将每个轴归一化为其最大值或总和:

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

使用numpys 峰到峰功能。

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1

请注意,如果原始矩阵中的所有值都相同,则ptp将为0。除以0将返回nan。
米尔索

8

Christoph Gohlke unit_vector()在流行的转换模块中还具有将向量标准化的功能:

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))

7

您提到了sci-kit学习,所以我想分享另一个解决方案。

科学工具学习 MinMaxScaler

在sci-kit学习中,有一个名为的API MinMaxScaler,可以根据需要自定义值范围。

它还为我们处理了NaN问题。

将NaN视为缺失值:忽略适合度,并保留其变换值。...参见参考文献[1]

代码样例

代码很简单,只需键入

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
参考

6

没有sklearn和使用正义numpy。只需定义一个函数即可:

假设行是变量列是样本axis= 1):

import numpy as np

# Example array
X = np.array([[1,2,3],[4,5,6]])

def stdmtx(X):
    means = X.mean(axis =1)
    stds = X.std(axis= 1, ddof=1)
    X= X - means[:, np.newaxis]
    X= X / stds[:, np.newaxis]
    return np.nan_to_num(X)

输出:

X
array([[1, 2, 3],
       [4, 5, 6]])

stdmtx(X)
array([[-1.,  0.,  1.],
       [-1.,  0.,  1.]])

4

如果要标准化存储在3D张量中的n维特征向量,则也可以使用PyTorch:

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()

4

如果您正在使用3D向量,则可以使用toolbelt vg简洁地执行此操作。它是numpy之上的一个轻层,它支持单个值和堆叠的向量。

import numpy as np
import vg

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True

我在上次启动时创建了该库,它的使用动机如下:简单的想法在NumPy中太冗长了。



3

如果使用多维数组,则可以快速解决。

假设我们有2D数组,我们想通过最后一个轴对其进行归一化,而有些行的范数为零。

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.