机器学习和深度学习之数学基础：线性回归算法的矩阵参数求导

前面我们已经学习了标量对矩阵的求导，在机器学习和深度学习中损失一定是标量，所以我们本文看一下简单的线性回归算法是如何进行矩阵参数求导的,没看上一篇文章的，先看上一篇文章,不然你不懂什么是微分工具，什么是tr工具。

使用工具

常用迹的微分公式

注意下面公式中x是m*n的矩阵，表示有m个样本，而w是一个n*1的向量，表示每个样本有n个特征，y是一个m*1的向量，表示m个向量的输出

如图所示就是线性回归的推导，a变到d应用了向量模平方改写成向量与自身的内积，然后c到d是应用了下面的操作：

dAB=d(A)B AdB

然后d到e是将前面的d(Xw-y)^T变为了(d(Xw-y))^T,然后(d(Xw-y))^T=(Xdw)^T，最后处理成h，处理的非常简单，应用了向量u^Tv=v^Tu,这是因为如果两个向量的内积是满足这样的转换的，然后加起来得到i和o做比较，我们此时可以得到o，令其等于0，最终可以得到我们想要的p,以上就是线性回归求矩阵偏导数的方法。