深度學習基礎：張量運算

字幕組雙語原文：深度學習基礎：張量運算

英語原文：Tensor Operations — Basic Building Blocks of Deep Learning

翻譯：雷鋒字幕組（大表哥、Shangru）

2012-至今：深度學習爆炸時代

在2012年的Imagenet運動之後，深度學習取得了突飛猛進的發展。深度學習現在已經成為我們日常生活中不可或缺的一部分，當我們與語音助手交談、使用家庭自動化系統、寫電子郵件等時，許多演算法都在執行。事實上，它的影響是如此之大，以至於我們可以在亞馬遜上看到名為“嬰兒的神經網路”的書籍：D

“深度”學習是如何發生的？

就其核心而言，深度學習只不過是人腦工作方式的縮影(忽略了人腦中存在的實際複雜性，這種複雜性仍然很難複製)。計算機使用成百上千個跨越深層的神經元連線從它的輸入和輸出中學習(因此有了“深度學習”這個詞)。

每一個神經元連線都有與自身相關的不同重量。

在每次迭代中對權值進行最佳化，使預測損失最小化，並以最高精度預測輸出。計算機是機器，機器只懂數字。因此，在底層，我們討論的所有這些權重都是n維矩陣或張量。

由於每個權值都是一個n維矩陣或張量，權值的學習和最佳化涉及數百萬個矩陣乘法。在過去的6-7年中，我們已經看到許多DL框架的出現，它們簡化了這個任務。

五大深度學習框架（Pythorch、Tensorflow、Keras、CNTK、Caffe）

什麼是Pytorch

Pytorch是一個流行的深度學習框架，由Facebook人工智慧研究（FAIR）開發和維護，用於處理張力。自2016年1.0.0釋出以來，由於使用的簡單性和靈活性，它獲得了極大的普及。在本文中，我們將主要關注使用Pytorch的一些核心張量運算。您可能想透過這個部落格瞭解如何安裝PyTorch的詳細說明。

torch.size
torch.mm
torch.cat
torch.mul
torch.inverse

1.torch.size

Torch.size返回任何輸入張量的維度。

x = torch.tensor([
[[1, 2, 3, 4],
[3, 4., 6, 7]],
[[10,20,30,40],
[20,30,40,50]],
[[5,6,7,8],
[9,10,11,12]]
])
x.size()
torch.Size([3, 2, 4])

在上面的示例中，我建立了一個3X2X4張量，torch.size返回3個維度。我們的張量在外括號內有3個元素，每個元素都是一個矩陣。每個矩陣同樣有2個元素，每個元素都是一個包含4個元素的列表。

2.torch.mm

torch.mm返回任意兩個輸入矩陣matr1和mat2的矩陣乘法(不是元素一一對應相乘)

mat1 = torch.tensor([[1,2,3],
[4,5,6],
[6,7,8]])
mat2 = torch.tensor([[10,20,30],
[40,50,60],
[60,70,80]])
x = torch.mm(mat1, mat2)
y = mat1@mat2
x,y
(tensor([[ 270, 330, 390], [ 600, 750, 900], [ 820, 1030, 1240]]), tensor([[ 270, 330, 390], [ 600, 750, 900], [ 820, 1030, 1240]]))

在上面的示例中，mat1和mat2的大小均為3X3。因此，torch.mm的輸出大小也為3X3。我們可以看到可以使用“ @”運算子代替torch.mm來執行相同的操作。

使用torch.mm()時要注意的幾點

第一個輸入矩陣的列大小應等於第二個輸入矩陣的行大小
對於不是矩陣或大於2維的張量，torch.mm不起作用，我們可以使用torch.mul進行逐個元素的乘法
‘@'運算子執行與torch.mm相同的操作

3.torch.cat

Torch.cat可以水平或垂直連線2個張量

#假設我們有以下2個張量，並嘗試垂直連線它門x = torch.tensor([[1,3],
[2,5],
[3,6]])
y = torch.tensor([[10,30],
[20,50],
[30,60]])
z = torch.cat((x,y))
z
tensor([[ 1, 3], [ 2, 5], [ 3, 6], [10, 30], [20, 50], [30, 60]])

我們可以看到，張量y已經堆疊在張量x的下方。

# 現在我們嘗試著將它們水平連線起來x = torch.tensor([[1,3],
[2,5],
[3,6]])
y = torch.tensor([[10,30],
[20,50],
[30,60]])
z = torch.cat((x,y), dim = 1)
z
tensor([[ 1, 3, 10, 30], [ 2, 5, 20, 50], [ 3, 6, 30, 60]])

透過使用dim引數並將其設定為1，我們可以水平連線2個張量。預設設定為0，這將導致垂直串聯。

使用torch.cat時的注意事項

使用dim = 1來水平連線張量
可以連線任意數量的張量，但是，請確保張量在串聯方向上的大小應相同

4.torch.mul

torch.mul 可對2個張量進行逐元素乘法。

mat1 = torch.tensor([[[1,2,3],
[4,5,6]],
[[5,6,7],
[8,9,10]],
[[11,12,13],
[13,14,15]]])
mat2 = torch.tensor([[[10,20,30],
[40,50,60]],
[[50,60,70],
[80,90,100]],
[[110,120,130],
[130,140,150]]])
x = torch.mul(mat1, mat2)
y = mat1 * mat2
z = mat1.mul(mat2)

x,y,z

(tensor([[[ 10, 40, 90],
[ 160, 250, 360]],

[[ 250, 360, 490],
[ 640, 810, 1000]],

[[1210, 1440, 1690],
[1690, 1960, 2250]]]),
tensor([[[ 10, 40, 90],
[ 160, 250, 360]],

[[ 250, 360, 490],
[ 640, 810, 1000]],

[[1210, 1440, 1690],
[1690, 1960, 2250]]]),

tensor([[[ 10, 40, 90],
[ 160, 250, 360]],

[[ 250, 360, 490],
[ 640, 810, 1000]],

[[1210, 1440, 1690],
[1690, 1960, 2250]]]))

我們可以看到逐元素乘法適用於任何維度的張量。使用*運算子或者使用a.mul(b)，其中a和b為輸入張量，也可以實現torch.mul的功能。

mat1 = torch.randn(1,1,4)
mat2 = torch.randn(2,2,4)
x = torch.mul(mat1, mat2)
y = mat1 * mat2
z = mat1.mul(mat2)

x,y,z
(tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097],
[-0.3082, -0.7667, 0.0777, -0.1011]],

[[-0.0289, 0.6919, 0.2720, -0.0952],
[-0.3427, -1.1867, -1.0518, -0.0562]]]),
tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097],
[-0.3082, -0.7667, 0.0777, -0.1011]],

[[-0.0289, 0.6919, 0.2720, -0.0952],
[-0.3427, -1.1867, -1.0518, -0.0562]]]),
tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097],
[-0.3082, -0.7667, 0.0777, -0.1011]],

[[-0.0289, 0.6919, 0.2720, -0.0952],
[-0.3427, -1.1867, -1.0518, -0.0562]]]))

Torch.mul can be used for broadcasting of tensors. For tensors to be broadcastable, the following conditions should be met:

Each tensor should have atleast one dimension

When iterating over the dimension sizes, starting at the trailing dimension,

the dimension sizes must either be equal,

one of them is 1, or

one of them does not exist.

使用torch.mul時要注意的幾點

torch.mul類似於兩個向量之間的點積。
“ *”運算子或a.mul（b）也執行與torch.mm相同的操作
輸入張量應滿足廣播條件

5.torch.inverse

torch.inverse計算任意張量的逆

x = torch.rand(4, 4)
print(x)
y = torch.inverse(x)
print(y)

print(x@y)
tensor([[0.5113, 0.6916, 0.4692, 0.0154],
[0.3848, 0.3022, 0.0248, 0.9268],
[0.8846, 0.6778, 0.0108, 0.8708],
[0.2503, 0.9674, 0.8385, 0.3985]])
tensor([[ 5.4673, 3.9426, -2.8567, -3.1387],
[-7.0532, -7.4136, 6.1454, 4.0863],
[ 6.5743, 6.5758, -5.9237, -2.6038],
[-0.1456, 1.6838, -0.6596, 0.0402]])
tensor([[ 1.0000e+00, -5.8052e-07, -4.9533e-08, 2.9703e-09],
[ 2.4891e-07, 1.0000e+00, -2.3864e-08, -1.8278e-07],
[ 3.2888e-07, 2.2601e-08, 1.0000e+00, -1.5329e-07],
[ 3.5323e-07, -2.4265e-08, -4.5756e-07, 1.0000e+00]])

這裡，我們透過使用randn函式來建立了一個由隨機陣列成的4x4張量。torch.inverse可計算x的逆。Inv(x) @ X 則會返回一個單位矩陣。

使用torch.inverse需要注意的幾點：

只有在輸入張量的各個維度的元素數量相同時才可以正常使用torch.inverse
torch.inverse 同樣適用於3維張量。但是張量在各個方向上的維度需要相同或者為方陣張量。

總結

這篇文章裡我主要提及了一下幾點：

什麼是深度學習？
Pytorch是啥？
什麼是重要的張量運算？
如何實現執行上述張量運算的核心功能？
使用這些功能時要注意的幾點是什麼？

雷鋒字幕組是一個由 AI 愛好者組成的翻譯團隊，匯聚五百多位志願者的力量，分享最新的海外AI資訊，交流關於人工智慧技術領域的行業變革與技術創新的見解。

團隊成員有大資料專家、演算法工程師、影象處理工程師、產品經理、產品運營、IT諮詢人、在校師生；志願者們來自IBM、AVL、Adobe、阿里、百度等知名企業，北大、清華、港大、中科院、南卡羅萊納大學、早稻田大學等海內外高校研究所。

如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。

雷鋒網雷鋒網