穆爾-彭羅斯廣義逆

穆爾-彭羅斯廣義逆（英語：Moore–Penrose pseudoinverse），通常標記為${\displaystyle A^{\dagger }}$或${\displaystyle A^{+}}$，是著名的廣義逆矩陣之一。

1903年，埃里克·伊瓦爾·弗雷德霍姆提出積分算子的偽逆的概念。穆爾-彭羅斯廣義逆先後被E·H·穆爾（1920年）^[1]、阿爾內·比耶哈馬爾（英語：Arne Bjerhammar）（1951年） ^[2]、羅傑·潘洛斯（1955年）^[3]發現或描述。

它常被用於求得或簡化非一致線性方程組的最小範數最小平方解（最小平方法）。

矩陣的穆爾-彭羅斯廣義逆在實數域和複數域上都是唯一的，並且可以通過奇異值分解求得。

定義

定義一

令P_S表示到向量空間S上的正交投影。對於任意一個m乘n的複矩陣A，設R(A)表示A的值域空間。穆爾於1935年證明矩陣A的廣義逆矩陣G必須滿足的條件：

${\displaystyle {\boldsymbol {AG}}={\boldsymbol {P}}_{R({\boldsymbol {A}})},{\boldsymbol {GA}}={\boldsymbol {P}}_{R({\boldsymbol {A_{H}}})}}$

以上兩個條件稱為穆爾條件。滿足穆爾條件的矩陣G稱為矩陣A的穆爾逆矩陣。

定義二

彭羅斯於1955年提出了定義廣義逆矩陣的另外一組條件^[3]：

1. ${\displaystyle {\boldsymbol {AGA}}={\boldsymbol {A}}}$， ${\displaystyle {\boldsymbol {AG}}}$不一定是單位矩陣，但卻不會改變${\displaystyle {\boldsymbol {A}}}$的列向量。
2. ${\displaystyle {\boldsymbol {GAG}}={\boldsymbol {G}}}$， ${\displaystyle {\boldsymbol {G}}}$是乘法半群的弱逆
3. ${\displaystyle ({\boldsymbol {AG}})^{\boldsymbol {H}}={\boldsymbol {AG}}}$， ${\displaystyle {\boldsymbol {AG}}}$是埃爾米特矩陣
4. ${\displaystyle ({\boldsymbol {GA}})^{\boldsymbol {H}}={\boldsymbol {GA}}}$， ${\displaystyle {\boldsymbol {GA}}}$也是埃爾米特矩陣

以上四個條件常稱穆爾-彭羅斯條件。滿足全部四個條件的矩陣G，就稱為A的穆爾-彭羅斯廣義逆矩陣。

性質

從穆爾-彭羅斯條件出發，彭羅斯推導出了穆爾-彭羅斯廣義逆的一些性質^[3]：

• ${\displaystyle ({\boldsymbol {A}}^{H})^{\dagger }=({\boldsymbol {A}}^{\dagger })^{H}}$
• ${\displaystyle {\boldsymbol {A}}^{\dagger }{\boldsymbol {A}}{\boldsymbol {A}}^{H}={\boldsymbol {A}}^{H}{\boldsymbol {A}}{\boldsymbol {A}}^{\dagger }={\boldsymbol {A}}^{H}}$
• ${\displaystyle {\boldsymbol {A}}{\boldsymbol {A}}^{H}({\boldsymbol {A}}^{H})^{\dagger }=({\boldsymbol {A}}^{H})^{\dagger }{\boldsymbol {A}}^{H}{\boldsymbol {A}}={\boldsymbol {A}}}$
• ${\displaystyle {\boldsymbol {A}}^{\dagger }{\boldsymbol {A}}}$，${\displaystyle {\boldsymbol {A}}{\boldsymbol {A}}^{\dagger }}$，${\displaystyle ({\boldsymbol {I}}-{\boldsymbol {A}}^{\dagger }{\boldsymbol {A}})}$和${\displaystyle ({\boldsymbol {I}}-{\boldsymbol {A}}^{\dagger }{\boldsymbol {A}})}$都是冪等矩陣。

存在性和唯一性

偽逆存在且唯一：對於任何矩陣${\displaystyle A}$，恰好有一個矩陣${\displaystyle A^{\dagger }}$滿足定義的四個性質。^[4]

滿足該定義的第一個條件的矩陣被稱為廣義逆。如果該矩陣也滿足第二個定義，它就被稱為廣義反身逆陣（generalized reflexive inverse）。廣義逆矩陣總存在，但一般不唯一。唯一性是最後兩個條件的結果。

基本性質

這些性質的證明可以在維基教科書中找到。

• 如果 ${\displaystyle A}$ 有實數項，那麼 ${\displaystyle A^{\dagger }}$也有。
• 如果 ${\displaystyle A}$ 是可逆的，它的偽逆就是它的逆矩陣，即： ${\displaystyle A^{\dagger }=A^{-1}}$.^[5]:243
• 零矩陣的偽逆是它的轉置。
• 矩陣偽逆的偽逆是原矩陣，即： ${\displaystyle \left(A^{\dagger }\right)^{\dagger }=A}$.^[5]:245
• 偽轉置與轉置、複共軛和共軛轉置可以交換：^[5]:245

  ${\displaystyle \left(A^{\textsf {T}}\right)^{\dagger }=\left(A^{\dagger }\right)^{\textsf {T}}}$, ${\displaystyle \left({\overline {A}}\right)^{\dagger }={\overline {A^{\dagger }}}}$, ${\displaystyle \left(A^{*}\right)^{\dagger }=\left(A^{\dagger }\right)^{*}}$.

• 矩陣 ${\displaystyle A}$ 的純量乘法的偽逆是 ${\displaystyle A^{\dagger }}$ 的純量的倒數的乘法：

  ${\displaystyle \left(\alpha A\right)^{\dagger }=\alpha ^{-1}A^{\dagger }}$ 對於 ${\displaystyle \alpha \neq 0}$.

恆等式

下面的恆等式可以用來判定部分涉及偽逆的子表達式的正確性：$${\displaystyle A={}A{}A^{*}{}A^{\dagger *}{}={}A^{\dagger *}{}A^{*}{}A}$$同樣的，將 ${\displaystyle A^{\dagger }}$ 替換為 ${\displaystyle A}$ 會得到：$${\displaystyle A^{\dagger }={}A^{\dagger }{}A^{\dagger *}{}A^{*}{}={}A^{*}{}A^{\dagger *}{}A^{\dagger }}$$當用 ${\displaystyle A^{*}}$ 替代 ${\displaystyle A}$ 時，會得到：$${\displaystyle A^{*}={}A^{*}{}A{}A^{+}{}={}A^{+}{}A{}A^{*}.}$$

埃爾米特情況

偽逆的計算可以簡化為其在埃爾米特情況下的構造，這可以通過等價關係實現：$${\displaystyle A^{+}=\left(A^{*}A\right)^{+}A^{*},}$$$${\displaystyle A^{+}=A^{*}\left(AA^{*}\right)^{+},}$$其中${\displaystyle A^{*}A}$ 和 ${\displaystyle AA^{*}}$ 是埃爾米特矩陣。

乘積

令${\displaystyle A\in \mathbb {k} ^{m\times n},\ B\in \mathbb {k} ^{n\times p}}$，下列等式等價：^[6]

1. ${\displaystyle (AB)^{\dagger }=B^{\dagger }A^{\dagger }}$
2. ${\textstyle {\begin{aligned}A^{\dagger }ABB^{*}A^{*}&=BB^{*}A^{*},\\BB^{\dagger }A^{*}AB&=A^{*}AB.\end{aligned}}}$
3. ${\displaystyle {\begin{aligned}\left(A^{\dagger }ABB^{*}\right)^{*}&=A^{\dagger }ABB^{*},\\\left(A^{*}ABB^{\dagger }\right)^{*}&=A^{*}ABB^{\dagger }.\end{aligned}}}$
4. ${\displaystyle A^{\dagger }ABB^{*}A^{*}ABB^{\dagger }=BB^{*}A^{*}A}$
5. ${\displaystyle {\begin{aligned}A^{\dagger }AB&=B(AB)^{\dagger }AB,\\BB^{\dagger }A^{*}&=A^{*}AB(AB)^{\dagger }.\end{aligned}}}$

下方列出了 ${\displaystyle (AB)^{+}=B^{+}A^{+}}$的充分條件：

1. ${\displaystyle A}$ 的列單位正交（此時${\displaystyle A^{*}A=A^{\dagger }A=I_{n}}$），或
2. ${\displaystyle B}$ 的行單位正交 （此時 ${\displaystyle BB^{*}=BB^{\dagger }=I_{n}}$） ，或
3. ${\displaystyle A}$ 的列線性無關（此時 ${\displaystyle A^{\dagger }A=I}$ ） 同時 ${\displaystyle B}$ 的行線性無關（此時 ${\displaystyle BB^{\dagger }=I}$），或
4. ${\displaystyle B=A^{*}}$，或
5. ${\displaystyle B=A^{\dagger }}$。

下方列出了 ${\displaystyle (AB)^{\dagger }=B^{\dagger }A^{\dagger }}$的必要條件：

1. ${\displaystyle (A^{\dagger }A)(BB^{\dagger })=(BB^{\dagger })(A^{\dagger }A)}$

由最後一個充分條件得出等式：$${\displaystyle {\begin{aligned}\left(AA^{*}\right)^{+}&=A^{+*}A^{+},\\\left(A^{*}A\right)^{+}&=A^{+}A^{+*}.\end{aligned}}}$$注意: 等式 ${\displaystyle (AB)^{\dagger }=B^{\dagger }A^{\dagger }}$ 一般不成立，例如：$${\displaystyle {\Biggl (}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}{\begin{pmatrix}0&0\\1&1\end{pmatrix}}{\Biggr )}^{+}={\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}={\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}\quad \neq \quad {\begin{pmatrix}{\tfrac {1}{4}}&0\\{\tfrac {1}{4}}&0\end{pmatrix}}={\begin{pmatrix}0&{\tfrac {1}{2}}\\0&{\tfrac {1}{2}}\end{pmatrix}}{\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}={\begin{pmatrix}0&0\\1&1\end{pmatrix}}^{+}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}}$$

投影

${\displaystyle P=AA^{\dagger }}$ 和 ${\displaystyle Q=A^{\dagger }A}$ 是正交投影算子，即它們是埃爾米特矩陣（${\displaystyle P=P^{*}}$，${\displaystyle Q=Q^{*}}$）和冪等矩陣（${\displaystyle P^{2}=P}$，${\displaystyle Q^{2}=Q}$）。以下性質成立：

• ${\displaystyle PA=AQ=A}$ ，${\displaystyle A^{\dagger }P=QA^{\dagger }=A^{\dagger }}$
• ${\displaystyle P}$ 是正交投影算子，投影到 ${\displaystyle A}$ 的值域（也就是 ${\displaystyle A^{*}}$ 的核的正交補餘空間）。
• ${\displaystyle Q}$ 是正交投影算子，投影到 ${\displaystyle A^{*}}$ 的值域（也就是 ${\displaystyle A}$ 的核的正交補餘空間）。
• ${\displaystyle (I-Q)=\left(I-A^{\dagger }A\right)}$ 是正交投影算子，投影到 ${\displaystyle A}$ 的核。
• ${\displaystyle (I-P)=\left(I-AA^{\dagger }\right)}$ 是正交投影算子，投影到 ${\displaystyle A^{*}}$ 的核。^[4]

最後兩條性質隱含了下列等式：

• ${\displaystyle A\,\ \left(I-A^{\dagger }A\right)=\left(I-AA^{\dagger }\right)A\ \ =0}$
• ${\displaystyle A^{*}\left(I-AA^{\dagger }\right)=\left(I-A^{\dagger }A\right)A^{*}=0}$

如果 ${\displaystyle A\in \mathbb {k} ^{n\times n}}$ 是埃爾米特矩陣和冪等矩陣（當且僅當它為正交投影矩陣），則對於任意矩陣 ${\displaystyle B\in \mathbb {k} ^{m\times n}}$ ，下式成立：^[7]$${\displaystyle A(BA)^{\dagger }=(BA)^{\dagger }}$$這一條性質可以如此證明：定義矩陣 ${\displaystyle C=BA}$, ${\displaystyle D=A(BA)^{\dagger }}$，當 ${\displaystyle A}$ 是埃爾米特矩陣和冪等矩陣時，通過驗證偽逆的性質可以檢查 ${\displaystyle D}$ 確實是 ${\displaystyle C}$ 的一個偽逆。從上一條性質可以看出，當 ${\displaystyle A\in \mathbb {k} ^{n\times n}}$ 是埃爾米特矩陣和冪等矩陣時，對於任意矩陣 ${\displaystyle B\in \mathbb {k} ^{n\times m}}$

$${\displaystyle (AB)^{\dagger }A=(AB)^{\dagger }}$$

當 ${\displaystyle A}$ 是一個正交投影矩陣，則它的偽逆就是它自身，即 ${\displaystyle A^{\dagger }=A}$。

幾何結構

如果我們把矩陣看作是一個在數體 ${\displaystyle \mathbb {k} }$ 上的線性映射 ${\displaystyle A:\mathbb {k} ^{n}\to \mathbb {k} ^{m}}$， 那麼 ${\displaystyle A^{\dagger }:\mathbb {k} ^{m}\to \mathbb {k} ^{n}}$ 可以被分解如下。首先定義符號： ${\displaystyle \oplus }$ 表示直和， ${\displaystyle \perp }$ 表示正交補餘，${\displaystyle \ker }$ 表示映射的核， ${\displaystyle \operatorname {ran} }$ 表示映射的像。注意 ${\displaystyle \mathbb {k} ^{n}=\left(\ker A\right)^{\perp }\oplus \ker A}$ 和 ${\displaystyle \mathbb {k} ^{m}=\operatorname {ran} A\oplus \left(\operatorname {ran} A\right)^{\perp }}$。 限制條件 ${\displaystyle A:\left(\ker A\right)^{\perp }\to \operatorname {ran} A}$ 則是一個同構。這意味着 ${\displaystyle A^{\dagger }}$ 在 ${\displaystyle \operatorname {ran} A}$ 上時這個同構的逆，在 ${\displaystyle \left(\operatorname {ran} A\right)^{\perp }}$ 上則是零。

換而言之，對於給定的 ${\displaystyle b\in \mathbb {k} ^{m}}$ 要找到 ${\displaystyle A^{\dagger }b}$，首先將 ${\displaystyle b}$ 正交投影在 ${\displaystyle A}$ 的值域中，找到點 ${\displaystyle p(b)}$，然後構建 ${\displaystyle A^{-1}(\{p(b)\})}$，即就是在 ${\displaystyle \mathbb {k} ^{n}}$ 中，會被 ${\displaystyle A}$ 投影到 ${\displaystyle p(b)}$ 的點。這是 ${\displaystyle \mathbb {k} ^{n}}$ 的一個平行於 ${\displaystyle A}$ 的核的仿射子空間。這個子空間中長度最小的元素（也就是最靠近原點的元素），就是我們尋找的 ${\displaystyle A^{+}b}$ 的解。它可以通過從 ${\displaystyle A^{-1}(\{p(b)\})}$ 中選擇任意元素，並將其投影在 ${\displaystyle A}$ 的核的正交補餘空間而得到。

以上描述與線性系統的最小範數解密切相關。

子空間

$${\displaystyle {\begin{aligned}\ker \left(A^{+}\right)&=\ker \left(A^{*}\right)\\\operatorname {ran} \left(A^{+}\right)&=\operatorname {ran} \left(A^{*}\right)\end{aligned}}}$$

極限

偽逆可以由極限定義：$${\displaystyle A^{\dagger }=\lim _{\delta \searrow 0}\left(A^{*}A+\delta I\right)^{-1}A^{*}=\lim _{\delta \searrow 0}A^{*}\left(AA^{*}+\delta I\right)^{-1}}$$（參見吉洪諾夫正則化）。當 ${\displaystyle \left(AA^{*}\right)^{-1}}$ 或 ${\displaystyle \left(A^{*}A\right)^{-1}}$不存在時，這些極限仍然存在。^[4]:263

連續性

與一般的矩陣求逆不同，求偽逆的過程並不連續：如果序列 ${\displaystyle \left(A_{n}\right)}$ 收斂到矩陣 ${\displaystyle A}$ （在最大範數或弗比尼斯範數意義下），則 ${\displaystyle (A_{n})^{\dagger }}$ 不一定收斂於 ${\displaystyle A^{\dagger }}$. 然而，如果所有的矩陣 ${\displaystyle A_{n}}$ 與 ${\displaystyle A}$ 有相同的秩，則 ${\displaystyle (A_{n})^{\dagger }}$ 將收斂於 ${\displaystyle A^{\dagger }}$.^[8]

導數關係

實值偽逆矩陣的導數，該矩陣在某點${\displaystyle x}$處具有恆定的秩 可以用原矩陣的導數來計算：^[9]$${\displaystyle {\frac {\mathrm {d} }{\mathrm {d} x}}A^{\dagger }(x)=-A^{\dagger }\left({\frac {\mathrm {d} }{\mathrm {d} x}}A\right)A^{\dagger }~+~A^{\dagger }A^{\dagger {\textsf {T}}}\left({\frac {\mathrm {d} }{\mathrm {d} x}}A^{\textsf {T}}\right)\left(I-AA^{\dagger }\right)~+~\left(I-A^{\dagger }A\right)\left({\frac {\text{d}}{{\text{d}}x}}A^{\textsf {T}}\right)A^{\dagger {\textsf {T}}}A^{\dagger }}$$

例子

對於可逆矩陣，其廣義逆為其一般的逆矩陣，所以以下僅舉一些不可逆矩陣的例子。

• 對於${\displaystyle A={\begin{pmatrix}0&0\\0&0\end{pmatrix}}}$，其廣義逆矩陣為${\displaystyle A^{\dagger }={\begin{pmatrix}0&0\\0&0\end{pmatrix}}}$（通常零矩陣的廣義逆矩陣為其轉置）。該廣義逆矩陣的唯一性可以認為時由性質${\displaystyle A^{\dagger }=A^{\dagger }AA^{\dagger }}$得出的，因為與零矩陣相乘總會得到零矩陣。
• 對於${\displaystyle A={\begin{pmatrix}1&0\\1&0\end{pmatrix}}}$，其廣義逆矩陣為 ${\displaystyle A^{\dagger }={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\0&0\end{pmatrix}}}$。
  • 事實上，${\displaystyle A\,A^{\dagger }={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}}$，所以 ${\displaystyle A\,A^{\dagger }A={\begin{pmatrix}1&0\\1&0\end{pmatrix}}=A}$。
  • 類似的， ${\displaystyle A^{\dagger }A={\begin{pmatrix}1&0\\0&0\end{pmatrix}}}$，由此 ${\displaystyle A^{\dagger }A\,A^{\dagger }={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\\0&0\end{pmatrix}}=A^{\dagger }}$。
• 對於${\displaystyle A={\begin{pmatrix}1&0\\-1&0\end{pmatrix}}}$，其廣義逆矩陣為${\displaystyle A^{\dagger }={\begin{pmatrix}{\frac {1}{2}}&-{\frac {1}{2}}\\0&0\end{pmatrix}}}$。
• 對於${\displaystyle A={\begin{pmatrix}1&0\\-1&0\end{pmatrix}}}$，其廣義逆矩陣為${\displaystyle A^{\dagger }={\begin{pmatrix}{\frac {1}{2}}&-{\frac {1}{2}}\\0&0\end{pmatrix}}}$。
• 對於${\displaystyle A={\begin{pmatrix}1&1\\1&1\end{pmatrix}}}$，其廣義逆矩陣為${\displaystyle A^{\dagger }={\begin{pmatrix}{\frac {1}{4}}&{\frac {1}{4}}\\{\frac {1}{4}}&{\frac {1}{4}}\end{pmatrix}}}$。
• 對於${\displaystyle A={\begin{pmatrix}1&0\\0&1\\0&1\end{pmatrix}}}$，其廣義逆矩陣為 ${\displaystyle A^{\dagger }={\begin{pmatrix}1&0&0\\0&{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}}$ 。對於該矩陣，其左逆存在且等於${\displaystyle A^{\dagger }}$，事實上，${\displaystyle A^{\dagger }A={\begin{pmatrix}1&0\\0&1\end{pmatrix}}}$。

參考

書籍

• 張賢達. 矩阵分析与应用. 北京: 清華大學出版社. 2004年9月: 85–99. ISBN 7-302-09271-0 （中文）.

文獻

1. Moore, E. H. On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society. 1920, 26 (9): 394–395 [2012-12-01]. doi:10.1090/S0002-9904-1920-03322-7. （原始內容存檔於2020-08-13）.
2. Bjerhammar, Arne. Application of calculus of matrices to method of least squares; with special references to geodetic calculations. Trans. Roy. Inst. Tech. Stockholm. 1951, 49.
3. Penrose, Roger. A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society. 1955, 51: 406–413. doi:10.1017/S0305004100030401.
4. Golub, Gene H.; Charles F. Van Loan. Matrix computations 3rd. Baltimore: Johns Hopkins. 1996: 257–258. ISBN 978-0-8018-5414-9.
5. Stoer, Josef; Bulirsch, Roland. Introduction to Numerical Analysis 3rd. Berlin, New York: Springer-Verlag. 2002. ISBN 978-0-387-95452-3..
6. Greville, T. N. E. Note on the Generalized Inverse of a Matrix Product. SIAM Review. 1966-10-01, 8 (4): 518–521 [2022-05-10]. ISSN 0036-1445. doi:10.1137/1008107. （原始內容存檔於2022-06-17）.
7. Maciejewski, Anthony A.; Klein, Charles A. Obstacle Avoidance for Kinematically Redundant Manipulators in Dynamically Varying Environments. International Journal of Robotics Research. 1985, 4 (3): 109–117. S2CID 17660144. doi:10.1177/027836498500400308. hdl:10217/536 .
8. Rakočević, Vladimir. On continuity of the Moore–Penrose and Drazin inverses (PDF). Matematički Vesnik. 1997, 49: 163–72 [2022-05-10]. （原始內容 (PDF)存檔於2022-04-03）.
9. Golub, G. H.; Pereyra, V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate. SIAM Journal on Numerical Analysis. April 1973, 10 (2): 413–32. Bibcode:1973SJNA...10..413G. JSTOR 2156365. doi:10.1137/0710036.