如何在PyTorch中做矩阵乘积


70

在numpy中,我可以像这样做一个简单的矩阵乘法:

a = numpy.arange(2*3).reshape(3,2)
b = numpy.arange(2).reshape(2,1)
print(a)
print(b)
print(a.dot(b))

但是,当我使用PyTorch Tensors尝试此操作时,这不起作用:

a = torch.Tensor([[1, 2, 3], [1, 2, 3]]).view(-1, 2)
b = torch.Tensor([[2, 1]]).view(2, -1)
print(a)
print(a.size())

print(b)
print(b.size())

print(torch.dot(a, b))

此代码引发以下错误:

RuntimeError:/Users/soumith/code/builder/wheel/pytorch-src/torch/lib/TH/generic/THTensorMath.c:503上的张量大小不一致

有什么想法可以在PyTorch中进行矩阵乘法吗?

Answers:


98

您正在寻找

torch.mm(a,b)

请注意,torch.dot()其行为与有所不同np.dot()。关于这里需要什么已经有一些讨论。具体来说,torch.dot()a和都b视为1D向量(与它们的原始形状无关)并计算其内积。引发错误,因为此行为使您a的长度为6b的向量和长度为2的向量;因此无法计算其内积。对于PyTorch中的矩阵乘法,请使用torch.mm()np.dot()相比之下,Numpy更灵活;它计算1D数组的内积,并对2D数组执行矩阵乘法。

根据普遍需求,torch.matmul如果两个参数均为,则函数执行矩阵乘法,如果两个参数均为,则函数2D计算其点积1D。对于此类尺寸的输入,其行为与相同np.dot。它还使您可以批量广播或matrix x matrixmatrix x vector以及vector x vector进行批量操作。有关更多信息,请参阅其文档

# 1D inputs, same as torch.dot
a = torch.rand(n)
b = torch.rand(n)
torch.matmul(a, b) # torch.Size([])

# 2D inputs, same as torch.mm
a = torch.rand(m, k)
b = torch.rand(k, j)
torch.matmul(a, b) # torch.Size([m, j])

4
由于这是公认的答案,我认为您应该包括torch.matmul。它对1D数组执行点积运算,对2D数组执行矩阵乘法运算。
解开

40

如果要进行矩阵(2级张量)相乘,可以用四种等效的方式进行:

AB = A.mm(B) # computes A.B (matrix multiplication)
# or
AB = torch.mm(A, B)
# or
AB = torch.matmul(A, B)
# or, even simpler
AB = A @ B # Python 3.5+

有一些细微之处。从PyTorch文档中

torch.mm不广播。有关广播矩阵产品,请参见torch.matmul()。

例如,您不能将两个一维向量与torch.mm相乘,也不能与批处理矩阵相乘(等级3)。为此,您应该使用功能更广泛的torch.matmul。有关广播行为的详细列表torch.matmul,请参阅文档

对于逐元素乘法,您可以简单地做(如果A和B具有相同的形状)

A * B # element-wise matrix multiplication (Hadamard product)

6
喜欢单字符@运算符。 w @ x将是我的第一个
内森(Nathan)

8

用途torch.mm(a, b)torch.matmul(a, b)
两者相同。

>>> torch.mm
<built-in method mm of type object at 0x11712a870>
>>> torch.matmul
<built-in method matmul of type object at 0x11712a870>

还有另一种可能很了解的选项。那是@操作员。@西蒙·H。

>>> a = torch.randn(2, 3)
>>> b = torch.randn(3, 4)
>>> a@b
tensor([[ 0.6176, -0.6743,  0.5989, -0.1390],
        [ 0.8699, -0.3445,  1.4122, -0.5826]])
>>> a.mm(b)
tensor([[ 0.6176, -0.6743,  0.5989, -0.1390],
        [ 0.8699, -0.3445,  1.4122, -0.5826]])
>>> a.matmul(b)
tensor([[ 0.6176, -0.6743,  0.5989, -0.1390],
        [ 0.8699, -0.3445,  1.4122, -0.5826]])    

这三个给出相同的结果。

相关链接:
矩阵乘法运算符
PEP 465-用于矩阵乘法的专用中缀运算符


torch.mm(a,b)torch.matmul(a,b)a@b相同呢?我在@运算符上找不到任何文档。
西蒙H

是的,似乎没有关于@运算符的任何文档。但是,文档中有几种表示法,@它们给出了矩阵乘法的语义。因此,我认为@在矩阵乘法的意义上,PyTorch已使运算符过载。
David Jung,

添加了指向@运算符的链接。
David Jung

3

您可以使用“ @”来计算pytorch中两个张量之间的点积。

a = torch.tensor([[1,2],
                  [3,4]])
b = torch.tensor([[5,6],
                  [7,8]])
c = a@b #For dot product
c

d = a*b #For elementwise multiplication 
d
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.