Press "Enter" to skip to content

深度学习数学基础之链式法则

上次讲了导数和偏导数的基础,那幺这些还不足以使用起来,今天就来讲讲误差反向传播中用来解决复杂函数求导的链式法则。

 

1 复合函数

 

已知函数y=f(u),当u表示为u=g(x)时,y作为x的函数就可以表示为y=f(g(x))这样的嵌套结构,这种嵌套结构的函数,就称为f(u)、g(x)的复合函数。

 

 

2 链式法则

 

2.1 单变量函数链式法则

 

已知单变量函数y=f(u),当uu表示为单变量函数u=g(x)时,复合函数f(g(x))的导函数可以如下简单地求出来。

 

 

上面这个公式称为单变量函数的复合函数求导公式,也称为链式法则。

 

 

公式的右边,如果将dx、dy、du都看作一个单独的字母,那幺公式的左边可以看作将右边进行简单的约分的结果,这个看法总是成立的。通过将导数用dx、dy等表示,我们可以这样记忆链式法则:复合函数的导数可以像分数一样使用约分。,但是这个约分的法则不适用于dx、dy的平方等情形。

 

 

下面我们来试试对sigmoid与wx+b的复合函数进行求导吧

 

 

2.2 多变量函数链式法则

 

在多变量函数的情况下,链式法则的思想也同样适用。只要像处理分数一样对导数的式子进行变形就行了,但是事情并没有想的那幺简单,因为必须要对相关的全部变量应用链式法则。

 

让我们来看看两个变量的情形。变量z为u、v的函数,如果u、v分别为x、y的函数,则z为x、y的函数,此时下方的多变量函数的链式法则成立。

 

 

变量z为u、v的函数,u、v分别为x、y的函数,z关于x求导时,先对u、v求导,然后与z的相应导数相乘,最后将乘积加起来。

 

z关于y求导时,也是如此。下方式子依旧成立。

 

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注