奇異值

數學中，特別是泛函分析中，作用於希爾伯特空間X、Y之間的緊算子${\displaystyle T:X\rightarrow Y}$的奇異值是自伴算子${\displaystyle T^{*}T}$（${\displaystyle T^{*}}$表示T的伴隨）的非負特徵值的平方根。

奇異值是非負實數，一般按遞減順序排列（${\displaystyle \sigma _{1}(T),\ \sigma _{2}(T),\dots }$）。最大的奇異值${\displaystyle \sigma _{1}(T)}$等於T的算子範數（見極小-極大定理）。

2維實值錯切矩陣M的奇異值分解可視化。首先，可見藍色的單位圓盤與2個標準基向量；然後，可見M的作用：將圓盤扭曲為橢圓。SVD將M分解為3個簡單變換：旋轉${\displaystyle V^{*}}$、沿旋轉軸的縮放Σ及第二次旋轉 U。Σ是對角矩陣（本例中是方陣），對角線上包含M的奇異值，代表橢圓半軸長度${\displaystyle \sigma _{1},\ \sigma _{2}}$。

作用於歐氏空間${\displaystyle \mathbb {R} ^{n}}$的T的奇異值有簡單的幾何解釋：單位n球在T變換下的像是橢球，其半軸長度是T的奇異值（圖中提供了${\displaystyle \mathbb {R} ^{2}}$的例子）。

奇異值是正規矩陣A的特徵值的絕對值，由譜定理可得A的單位對角化：${\displaystyle A=U\Lambda U^{*}}$。因此有${\displaystyle {\sqrt {A^{*}A}}={\sqrt {U\Lambda ^{*}\Lambda U^{*}}}=U\left|\Lambda \right|U^{*}}$。

研究的希爾伯特空間算子的大多數範數都是用奇異值定義的。例如，樊𰋀-k-範數是前k個奇異值的和，跡範數是所有奇異值的和，沙滕範數是奇異值的p次冪之和的p次根。注意每種範數都只定義在一類特殊的算子上，因此奇異值有助於算子的分類。

有限維情形，矩陣總可以分解為${\displaystyle \mathbf {U\Sigma V^{*}} }$，其中${\displaystyle \mathbf {U} }$、${\displaystyle \mathbf {V^{*}} }$是酉矩陣，${\displaystyle \mathbf {\Sigma } }$是矩形對角矩陣，奇異值在對角線上。這就是奇異值分解。

基本性質

對${\displaystyle A\in \mathbb {C} ^{m\times n}}$、${\displaystyle i=1,2,\ldots ,\min\{m,n\}}$。

應用特徵值的最小-最大定理。這裡${\displaystyle U:\dim(U)=i}$是${\displaystyle \mathbb {C} ^{n}}$的i維子空間。

${\displaystyle {\begin{aligned}\sigma _{i}(A)&=\min _{\dim(U)=n-i+1}\max _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\\\sigma _{i}(A)&=\max _{\dim(U)=i}\min _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\end{aligned}}}$

矩陣轉置和共軛不會改變奇異值。

${\displaystyle \sigma _{i}(A)=\sigma _{i}\left(A^{\textsf {T}}\right)=\sigma _{i}\left(A^{*}\right).}$

對任意酉矩陣${\displaystyle U\in \mathbb {C} ^{m\times m},V\in \mathbb {C} ^{n\times n}}$

${\displaystyle \sigma _{i}(A)=\sigma _{i}(UAV).}$

與特徵值的關係：

${\displaystyle \sigma _{i}^{2}(A)=\lambda _{i}\left(AA^{*}\right)=\lambda _{i}\left(A^{*}A\right).}$

與跡的關係：

${\displaystyle \sum _{i=1}^{n}\sigma _{i}^{2}={\text{tr}}\ A^{\ast }A}$.

若${\displaystyle A^{\top }A}$滿秩，則奇異值的積是${\displaystyle {\sqrt {\det A^{\top }A}}}$。

若${\displaystyle AA^{\top }}$滿秩，則奇異值的積是${\displaystyle {\sqrt {\det AA^{\top }}}}$。

若A滿秩，則奇異值的積是${\displaystyle |\det A|}$。

關於奇異值的不等式

另見^[1]

子矩陣的奇異值

對${\displaystyle A\in \mathbb {C} ^{m\times n}}$，

1. 令B表示刪除了某一行或某一列的A。則$${\displaystyle \sigma _{i+1}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$
2. 令B表示刪除了某一行和某一列的A。則$${\displaystyle \sigma _{i+2}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$
3. 令B表示A的${\displaystyle (m-k)\times (n-l)}$子矩陣，則$${\displaystyle \sigma _{i+k+l}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)}$$

A + B的奇異值

對${\displaystyle A,B\in \mathbb {C} ^{m\times n}}$

1. $${\displaystyle \sum _{i=1}^{k}\sigma _{i}(A+B)\leq \sum _{i=1}^{k}(\sigma _{i}(A)+\sigma _{i}(B)),\quad k=\min\{m,n\}}$$
2. $${\displaystyle \sigma _{i+j-1}(A+B)\leq \sigma _{i}(A)+\sigma _{j}(B).\quad i,j\in \mathbb {N} ,\ i+j-1\leq \min\{m,n\}}$$

AB的奇異值

對${\displaystyle A,B\in \mathbb {C} ^{n\times n}}$

1. $${\displaystyle {\begin{aligned}\prod _{i=n}^{i=n-k+1}\sigma _{i}(A)\sigma _{i}(B)&\leq \prod _{i=n}^{i=n-k+1}\sigma _{i}(AB)\\\prod _{i=1}^{k}\sigma _{i}(AB)&\leq \prod _{i=1}^{k}\sigma _{i}(A)\sigma _{i}(B),\\\sum _{i=1}^{k}\sigma _{i}^{p}(AB)&\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A)\sigma _{i}^{p}(B),\end{aligned}}}$$
2. $${\displaystyle \sigma _{n}(A)\sigma _{i}(B)\leq \sigma _{i}(AB)\leq \sigma _{1}(A)\sigma _{i}(B)\quad i=1,2,\ldots ,n.}$$

對${\displaystyle A,B\in \mathbb {C} ^{m\times n}}$^[2] $${\displaystyle 2\sigma _{i}(AB^{*})\leq \sigma _{i}\left(A^{*}A+B^{*}B\right),\quad i=1,2,\ldots ,n.}$$

奇異值與特徵值

對${\displaystyle A\in \mathbb {C} ^{n\times n}}$.

1. 見^[3] $${\displaystyle \lambda _{i}\left(A+A^{*}\right)\leq 2\sigma _{i}(A),\quad i=1,2,\ldots ,n.}$$
2. 假設${\displaystyle \left|\lambda _{1}(A)\right|\geq \cdots \geq \left|\lambda _{n}(A)\right|}$，則對${\displaystyle k=1,2,\ldots ,n}$：
   1. 外爾定理$${\displaystyle \prod _{i=1}^{k}\left|\lambda _{i}(A)\right|\leq \prod _{i=1}^{k}\sigma _{i}(A).}$$
   2. 對${\displaystyle p>0}$。$${\displaystyle \sum _{i=1}^{k}\left|\lambda _{i}^{p}(A)\right|\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A).}$$

歷史

奇異值這一概念由埃哈德·施密特（1907）提出，當時稱奇異值為「特徵值」。「奇異值」的名稱由史密斯於1937年首次使用。1957年，Allahverdiev證明了第n個奇異值的如下特徵：^[4]

${\displaystyle \sigma _{n}(T)=\inf {\big \{}\,\|T-L\|:L{\text{的秩}}<n\,{\big \}}.}$

這種表述使奇異值概念可以推廣到巴拿赫空間的算子。 注意還有更一般的s-數（s-number）概念，也包括蓋爾范德和柯爾莫哥洛夫寬。

另見

• 條件數
• 龐加萊分離定理
• 舒爾–霍恩定理
• 奇異值分解

參考文獻

1. R. A. Horn and C. R. Johnson. Topics in Matrix Analysis. Cambridge University Press, Cambridge, 1991. Chap. 3
2. X. Zhan. Matrix Inequalities. Springer-Verlag, Berlin, Heidelberg, 2002. p.28
3. R. Bhatia. Matrix Analysis. Springer-Verlag, New York, 1997. Prop. III.5.1
4. I. C. Gohberg and M. G. Krein. Introduction to the Theory of Linear Non-selfadjoint Operators. American Mathematical Society, Providence, R.I.,1969. Translated from the Russian by A. Feinstein. Translations of Mathematical Monographs, Vol. 18.