機器學習和深度學習之數學基礎：線性迴歸演算法的矩陣引數求導

前面我們已經學習了標量對矩陣的求導，在機器學習和深度學習中損失一定是標量，所以我們本文看一下簡單的線性迴歸演算法是如何進行矩陣引數求導的,沒看上一篇文章的，先看上一篇文章,不然你不懂什麼是微分工具，什麼是tr工具。

使用工具

常用跡的微分公式

注意下面公式中x是m*n的矩陣，表示有m個樣本，而w是一個n*1的向量，表示每個樣本有n個特徵，y是一個m*1的向量，表示m個向量的輸出

如圖所示就是線性迴歸的推導，a變到d應用了向量模平方改寫成向量與自身的內積，然後c到d是應用了下面的操作：

dAB=d(A)B AdB

然後d到e是將前面的d(Xw-y)^T變為了(d(Xw-y))^T,然後(d(Xw-y))^T=(Xdw)^T，最後處理成h，處理的非常簡單，應用了向量u^Tv=v^Tu,這是因為如果兩個向量的內積是滿足這樣的轉換的，然後加起來得到i和o做比較，我們此時可以得到o，令其等於0，最終可以得到我們想要的p,以上就是線性迴歸求矩陣偏導數的方法。