黑塞矩阵
在数学中,海森矩阵(Hessian matrix 或 Hessian)是一个多变量实值函数的二阶偏导数组成的方块矩阵,假设有一实数函数 如果
所有的二阶偏导数都存在,那么
的海森矩阵的第
-项即:
其中,即
(也有人把海森定义为以上矩阵的行列式。)
海森矩阵被应用于牛顿法解决的大规模优化问题。
混合偏导数和海森矩阵的对称性
海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的,那么求导顺序没有区别,即
上式也可写为
也就是说,如果f 函数在区域D 内的每个二阶导数都是连续函数,那么f的海森矩阵在D区域内为对称矩阵。
应用
在映射 f : R 2 → R {\displaystyle f:\mathbb {R} ^{2}\to \mathbb {R} } 的应用
给定二阶导数连续的映射,海森矩阵的行列式,可用于分辨
的临界点是属于鞍点还是极值点。
对于的临界点
一点,有
,然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。
H > 0:若,则
是局部极小点;若
,则
是局部极大点。
H < 0:是鞍点。
H = 0:二阶导数无法判断该临界点的性质,得从更高阶的导数以泰勒公式考虑。
在高维情况下的推广
当函数二阶连续可导时,Hessian矩阵H在临界点
上是一个
阶的对称矩阵。
当H是正定矩阵时,临界点是一个局部的极小值。
当H是负定矩阵时,临界点是一个局部的极大值。
H=0,需要更高阶的导数来帮助判断。