原标题:机器之心最干的文章:機器学习中的矩阵、向量导
本文的目标读者是想快速掌握矩阵、向量导法则的学习者主要面向矩阵、向量导在机器学习中的应用。因此本教程而非一份严格的数学教材,而是希望帮助读者尽快熟悉相关的导方法并在实践中应用另外,本教程假定读者熟悉一元函数的导
本文公式太多,微信上展示会有一些问题所以本文适合读者了解矩阵、向量导,而详细地学习与分析请下载本文的PDF版
所谓矩阵导,夲质上只不过是多元函数导仅仅是把把函数的自变量以及导的结果排列成了矩阵的形式,方便表达与计算 而已复合函数的导法则本质仩也是多元函数导的链式法则,只是将结果整理成了矩阵的形式只是对矩阵的每个分量逐元素 地导太繁琐而且容易出错,因此推导并记住一些常用的结论在实践中是非常有用的
矩阵导本身有很多争议,例如:
- 对于导结果是否需要转置?
不同教材对此处理的结果不一样这屬于不同的 Layout Convention。本文以不转置为主即导结果与原矩阵/向量同型,术语叫 Mixed Layout
- 矩阵对向量、向量对矩阵、矩阵对矩阵导的结果是什么?
最自然的結果当然是把结果定义成三维乃至四维张量,但是这并不好算也有一些绕弯的解决办法 (例如把矩阵抻成一个 向量等),但是这些方案都不唍美 (例如复合函数导的链式法则无法用矩阵乘法简洁地表达等)在本教程中,我们认为这三种情形下导数没有定义。凡是遇到这种情况都通过其他手段来绕过,后面会有具体的示例
因此,本教程的符号体系有可能与其他书籍或讲义不一致导结果也可能不一致 (例如相差一次矩阵转置,或者是结果矩阵是否平铺成向量等)使用者需自行注意。另外本教程中有很多笔者自己的评论,例如关于变形的技巧、如何记忆公式、如何理解其他的教程中给出的和本教程中形式不同的结果等
本文为机器之心专栏,转载请联系原作者七月获得授权