미적분학에서 헤세 행렬(Hesse行列, 영어: Hessian matrix)은 어떤 함수의 이계도함수를 행렬로 표현한 것이다. 헤세 행렬은 독일의 수학자 루트비히 오토 헤세의 이름을 따서 명명되었다. 헤세 행렬은 다변수함수가 극값을 가질 때, 그것이 극대인지, 극소인지 판정할 때 사용한다.
실함수 이 주어졌을 때, 헤세 행렬은 다음과 같이 주어진다.
헤세 행렬은, 함수의 기울기 벡터 에 대한 야코비 행렬로도 설명이 가능하다.
함수 의 이계도함수가 연속이라면 혼합 편미분은 같다. 그 때 이 행렬은 대칭행렬이다.
함수 의 이계도함수가 연속일 때 헤세 행렬은 대칭행렬이므로 스펙트럼 정리에 따라 헤세 행렬을 다음과 같이 직교대각화할 수 있다.
로 두면 다음과 같이 나타낼 수 있다.
헤세 행렬의 고윳값의 부호에 따라 이차형식의 정부호성을 판별한다.
- 헤세 행렬의 고윳값이 모두 양수일 경우, 이차형식은 양의 정부호이고, 임계점은 극솟값이다.
- 헤세 행렬의 고윳값이 모두 음수일 경우, 이차형식은 음의 정부호이고, 임계점은 극댓값이다.
- 헤세 행렬의 고윳값에 양수와 음수가 섞여 있는 경우, 이차형식은 부정부호(indefinite)이고, 임계점은 안장점이 된다.