则表示实值函数对向量的梯度,记做 ∇ x f \nabla _{\boldsymbol{x}}f ∇ x f 总结:实值函数对向量或矩阵的梯度,与该向量或矩阵同型。下面从定义出发,推导机器学习中常用的向量/矩阵梯度公式。 ① ∇ ( a T x ) = ∇ ( x T a ) = a \nabla \left( \boldsymbol{a}^T\boldsymbol{x}...
分量的偏导数组成的向量为函数f(x)在x处的一阶导数,或者是梯度。记作g(x) = ▽f(x). Hesse矩阵:梯度是一个n元函数,自变量是一个n维列向量,把一个函数的梯度的各个分量对其自变量各个分量求偏导数,得到一个n*n的方阵,这个方阵我们叫做Hesse矩阵。 Jacobi矩阵:一个向量函数,它的自变量的各个分量对该分量的...