如何计算梯度。

1.Variable与Tensor

目前Variable与Tensor已经合并。每一个tensor可以使用requires_grad来设置是否计算梯度。用来实现冻结某些层的参数。

2.如何计算梯度

链式法则：两个函数组合起来的复合函数，导数等于里面函数代入外函数值的导乘以里面函数之导数。

例如：

函数 f(x)=cos(x^2−1)。可以把函数分解为：

则 f′(x)=f′(g(x))g′(x)=−sin(x∧2−1)*2x，相当于各自求导后再相乘。