• 1.摘要
  • 2.混合偏导数和海森矩阵的对称性
  • 3.应用

黑塞矩阵

在数学中,海森矩阵(Hessian matrix 或 Hessian)是一个多变量实值函数的二阶偏导数组成的方块矩阵,假设有一实数函数 image如果 image 所有的二阶偏导数都存在,那么 image 的海森矩阵的第 image-项即:

image

其中image,即

image

(也有人把海森定义为以上矩阵的行列式。)

海森矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海森矩阵的对称性

海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的,那么求导顺序没有区别,即

image

上式也可写为

image

也就是说,如果f 函数在区域D 内的每个二阶导数都是连续函数,那么f的海森矩阵在D区域内为对称矩阵。

应用

在映射 f : R 2 → R {\displaystyle f:\mathbb {R} ^{2}\to \mathbb {R} } 的应用

给定二阶导数连续的映射image,海森矩阵的行列式,可用于分辨image的临界点是属于鞍点还是极值点。

对于image的临界点image一点,有image,然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。

image

H > 0:若image,则image是局部极小点;若image,则image是局部极大点。

H < 0:image是鞍点。

H = 0:二阶导数无法判断该临界点的性质,得从更高阶的导数以泰勒公式考虑。

在高维情况下的推广

当函数image二阶连续可导时,Hessian矩阵H在临界点image上是一个image阶的对称矩阵。

当H是正定矩阵时,临界点image是一个局部的极小值。

当H是负定矩阵时,临界点image是一个局部的极大值。

H=0,需要更高阶的导数来帮助判断。