矩阵导数矩阵微分

欢迎来到我的博客

在学习机器学习算法时，我总是遇到矩阵导数，现在我学到一波，主要是总结

注意: 这仅涉及实数的推导. 学习交流的人可能经常面临负数.

矩阵可以列向量或行向量的形式编写. 这两种不同的形式将矩阵推导分为两种不同的情况

1.jpg

该表列出了六种不同的矩阵推导类型. 粗体表示向量或矩阵（实际上，标量和向量也可以视为矩阵）.

表中仍然有三个空间没有写出来并实际存在，但是我暂时不讨论，因为这三种情况的大多数推导结果都高于二阶张量形式和共同的二维矩阵形式是不同的.

在机器学习中，以线性回归为例，每个输入都有多个属性，当表示属性时，可以采用列向量或行向量的形式，这两种形式会导致不同形式的导数结果.

请注意，形式有所不同，因为形式上的差异本质上不会影响导数结果，但是结果以不同的方式组织以方便进一步计算

布局约定是对不同形式的区分进行分类. 它分为两种布局: 分子布局和分母布局

流行解释中，现在规定将向量或矩阵分为两种形式: 原始形式和转置形式. 例如，性回归中，我们将列向量用作属性值的原始形式scalar矩阵，并且换位形式就是行向量

上表中的分子布局被分别取出，派生结果如下

3.png

以下两个定义仅在分子布局中有意义

4.png

分别取出上表中的分母布局，派生结果如下

5.png

现在给出常见的推导结果scalar矩阵，推导相关公式时可以查找表格

存在推导链规则，但矩阵乘积不满足换向律，因此该链规则不适用于矩阵标量导数和标量矩阵导数的两种情况.

以下是三个推导结果

首先显示逐个向量表的原因是因为所有适合逐个向量推导的运算也直接适用于逐个向量或逐个向量的两种情况向量

6.png

7.png

8.png

9.png

参考:

矩阵演算

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-274523-1.html