矩阵范数

矩阵范数（matrix norm）亦译矩阵模是数学中矩阵论、线性代数、泛函分析等领域中常见的基本概念，是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现，这时映射空间上装备的范数也可以通过矩阵范数的形式表达。

定义

赋范向量空间是拓扑向量空间中的基本种类。通过赋予向量空间（线性空间）以范数，建立拓扑结构。考虑系数域 ${\displaystyle \mathbb {K} }$（${\displaystyle \mathbb {K} }$ 可以是实数域 ${\displaystyle \mathbb {R} }$ 或复数域 ${\displaystyle \mathbb {C} }$ 等）上的所有 ${\displaystyle m\times n}$ 矩阵所构成的向量空间 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$。这是一个有 ${\displaystyle mn}$ 维的 ${\displaystyle \mathbb {K} }$-向量空间。可以如同对其他的有限维 ${\displaystyle \mathbb {K} }$-向量空间一样，为矩阵空间 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 装备范数。这样的范数称为 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 上的一个矩阵范数。

依照范数的定义，一个从 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 映射到非负实数的函数 ${\displaystyle \|\cdot \|}$ 满足以下的条件：

• 严格正定性：对任意矩阵 ${\displaystyle A\in {\mathcal {M}}_{m,n}(\mathbb {K} )}$，都有 ${\displaystyle \|A\|\geq 0}$，且等号成立当且仅当 ${\displaystyle A=0}$；
• 线性性：对任意系数 ${\displaystyle \alpha \in \mathbb {K} }$、任意矩阵 ${\displaystyle A\in {\mathcal {M}}_{m,n}(\mathbb {K} )}$，都有 ${\displaystyle \|\alpha A\|=|\alpha |\|A\|}$；
• 三角不等式：任意矩阵 ${\displaystyle A,B\in {\mathcal {M}}_{m,n}(\mathbb {K} )}$，都有 ${\displaystyle \|A+B\|\leq \|A\|+\|B\|}$。则称之为 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 上的一个矩阵范数。

此外，某些定义在方块矩阵组成空间 ${\displaystyle {\mathcal {M}}_{n}(\mathbb {K} )}$ 上的矩阵范数满足一个或多个以下与的条件：

• 相容性：${\displaystyle \|AB\|\leq \|A\|\|B\|}$；
• 共轭转置相等条件：${\displaystyle \|A\|=\|A^{*}\|}$。其中 ${\displaystyle A^{*}}$ 表示矩阵 ${\displaystyle A}$ 的共轭转置（在实矩阵中就是普通转置）。

一致性特性（consistency property）也称为次可乘性（sub-multiplicative property）。某些书籍中，矩阵范数特指满足一致性条件的范数。

常见矩阵范数

满足以上设定的矩阵范数可以有多种。由于它们都是定义在 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 这个有限维向量空间上的范数，所以实质上是等价的。常见的矩阵范数通常是在矩阵的应用中自然定义或诱导的范数。

向量范数诱导的矩阵范数

考虑从向量空间 ${\displaystyle V=\mathbb {K} ^{m}}$ 映射到 ${\displaystyle W=\mathbb {K} ^{n}}$ 的所有线性映射的构成的空间：${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$。设 ${\displaystyle V}$ 和 ${\displaystyle W}$ 中分别装备了两个向量范数 ${\displaystyle \|\cdot \|_{V}}$ 和 ${\displaystyle \|\cdot \|_{W}}$，则可以定义 ${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$ 上的算子范数 ${\displaystyle \|\cdot \|_{\mathcal {L}}}$：

${\displaystyle \forall A\in {\mathcal {L}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {L}}=\max\{\|A(x)\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

而给定了基底后，每个从 ${\displaystyle V}$ 映射到 ${\displaystyle W}$ 的线性映射都可以用一个 ${\displaystyle m\times n}$ 的矩阵来表示，所以同样地可以定义 ${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$ 上的非负映射 ${\displaystyle \|\cdot \|_{\mathcal {M}}}$：

${\displaystyle \forall A\in {\mathcal {M}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {M}}=\max\{\|Ax\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

可以验证，${\displaystyle \|\cdot \|_{\mathcal {M}}}$ 满足矩阵范数的定义，因此是一个矩阵范数。这个矩阵范数被称为是由向量空间范数诱导的矩阵范数，可以看作是算子范数在由有限维向量空间之间线性映射组成的空间上的特例。如果 ${\displaystyle m=n}$，所对应的矩阵空间就是 ${\displaystyle n}$ 阶方块矩阵空间 ${\displaystyle {\mathcal {M}}_{n}(\mathbb {K} )}$。这时可以验证，诱导范数 ${\displaystyle \|\cdot \|_{\mathcal {M}}}$ 满足一致性条件。

p-范数诱导的矩阵范数

当 ${\displaystyle V}$ 和 ${\displaystyle W}$ 中装备的向量范数都是 ${\displaystyle p}$-范数的时候，诱导的矩阵范数也称为矩阵的诱导 ${\displaystyle p}$-范数。具体来说就是：

${\displaystyle \left\|A\right\|_{p}=\max \limits _{x\neq 0}{\frac {\left\|Ax\right\|_{p}}{\left\|x\right\|_{p}}}=\max \limits _{x\neq 0}{\frac {\left(\sum _{i=1}^{m}|\sum _{j=1}^{n}a_{ij}x_{j}|^{p}\right)^{1/p}}{\left(\sum _{j=1}^{n}|x_{j}|^{p}\right)^{1/p}}}}$。

在 ${\displaystyle p=1}$ 和 ${\displaystyle p=\infty }$ 的情况下，其范数可以以下方式计算：

${\displaystyle {\begin{aligned}&\left\|A\right\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|\\&\left\|A\right\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|\end{aligned}}}$

这些与矩阵的 Schatten ${\displaystyle p}$-范数不同，也可以用 ${\displaystyle \left\|A\right\|_{p}}$ 来表示。

当 ${\displaystyle p=2}$（欧几里得范数）时，诱导的矩阵范数就是谱范数。矩阵 ${\displaystyle A}$ 的谱范数是 ${\displaystyle A}$ 最大的奇异值或半正定矩阵 ${\displaystyle A^{*}A}$ 的最大特征值的平方根：

${\displaystyle \left\|A\right\|_{2}={\sqrt {\lambda _{\text{max}}(A^{*}A)}}}$

其中 ${\displaystyle A^{*}}$ 代表 ${\displaystyle A}$ 的共轭转置。

任何诱导的矩阵范数都满足此不等式

${\displaystyle \left\|A\right\|\geq \rho (A),}$

其中 ${\displaystyle \rho (A)}$ 是 ${\displaystyle A}$ 的谱半径。事实上，可以证明 ${\displaystyle \rho (A)}$ 是 ${\displaystyle A}$ 的所有诱导范数的下界。

此外，我们有

${\displaystyle \lim _{r\rightarrow \infty }\|A^{r}\|^{1/r}=\rho (A)}$。

矩阵元范数

这些向量范数将矩阵视为 ${\displaystyle m\times n}$ 向量，并使用类似的向量范数。

举例说明，使用向量的 ${\displaystyle p}$-范数，我们得到：

${\displaystyle \Vert A\Vert _{p}={\Big (}\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}{\Big )}^{1/p}\ }$

注：不要把矩阵元 ${\displaystyle p}$-范数与诱导 ${\displaystyle p}$-范数混淆。

弗罗贝尼乌斯范数

对 ${\displaystyle p=2}$，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个范数可用不同的方式定义：

${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} (A^{{}^{*}}A)}}={\sqrt {\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{2}}}}$

这里 ${\displaystyle A^{*}}$ 表示 ${\displaystyle A}$ 的共轭转置，${\displaystyle \sigma _{i}}$ 是 ${\displaystyle A}$ 的奇异值，并使用了迹函数。弗罗贝尼乌斯范数与 ${\displaystyle K^{n}}$ 上欧几里得范数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范数是服从乘法的且在数值线性代数中非常有用。这个范数通常比诱导范数容易计算。

极大值范数

极大值范数是 ${\displaystyle p=\infty }$ 的元素范数，

${\displaystyle \|A\|_{\max }=\max\{|a_{ij}|\}}$。这个范数不服从次可乘性（sub-multiplicative property）。

Schatten 范数

更多信息：沙滕范数

Schatten 范数出现于当 ${\displaystyle p}$-范数应用于一个矩阵的奇异值向量时。如果奇异值记做 ${\displaystyle \sigma _{i}}$，则 Schatten ${\displaystyle p}$-范数定义为

${\displaystyle \|A\|_{p}={\Big (}\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{p}{\Big )}^{1/p}\ }$

这个范数与诱导、元素 ${\displaystyle p}$-范数使用了同样的记号，但它们是不同的。

所有 Schatten 范数服从乘法。它们也都是酉不变的，这就是说 ${\displaystyle \|A\|=\|UAV\|}$ 对所有矩阵 ${\displaystyle A}$ 与所有酉矩阵 ${\displaystyle U}$ 和 ${\displaystyle V}$。

最常见的情形是 ${\displaystyle p=1,2,\infty }$。${\displaystyle p=2}$ 得出弗罗贝尼乌斯范数，前面已经介绍过了。${\displaystyle p=\infty }$ 得出谱范数，这是由向量 ${\displaystyle 2}$-范数诱导的矩阵范数（见下）。最后，${\displaystyle p=1}$ 得出迹范数（核范数），定义为

${\displaystyle \|A\|_{\text{tr}}=\operatorname {trace} ({\sqrt {A^{*}A}})=\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}}$。

一致范数

一个 ${\displaystyle K^{m\times n}}$ 上矩阵范数 ${\displaystyle \|\cdot \|_{ab}}$ 称为与 ${\displaystyle K^{n}}$ 上向量范数 ${\displaystyle \|\cdot \|_{a}}$ 以及 ${\displaystyle K^{m}}$ 上向量范数 ${\displaystyle \|\cdot \|_{b}}$ 一致，如果

${\displaystyle \|Ax\|_{b}\leq \|A\|_{ab}\|x\|_{a}}$

对所有 ${\displaystyle A\in K^{m\times n},x\in K^{n}}$。根据定义，所有诱导范数是一致范数。

范数的等价

对任何两个向量范数 ${\displaystyle \|\cdot \|_{\alpha }}$ 和 ${\displaystyle \|\cdot \|_{\beta }}$，我们有

${\displaystyle r\left\|A\right\|_{\alpha }\leq \left\|A\right\|_{\beta }\leq s\left\|A\right\|_{\alpha }}$

对某个正数 ${\displaystyle r}$ 与 ${\displaystyle s}$，${\displaystyle K^{m\times n}}$ 中所有矩阵 ${\displaystyle A}$ 成立。换句话说，它们是等价的范数；它们在 ${\displaystyle K^{m\times n}}$ 上诱导了相同的拓扑。

此外，当 ${\displaystyle A\in \mathbb {R} ^{n\times n}}$，则对任何向量范数 ${\displaystyle \|\cdot \|}$，存在惟一一个正数 ${\displaystyle k}$ 使得 ${\displaystyle k\|A\|}$ 是一个（服从乘法）矩阵范数。

一个矩阵范数 ${\displaystyle \|\cdot \|_{\alpha }}$ 称为“极小的”，如果不存在其它矩阵范数 ${\displaystyle \|\cdot \|_{\beta }}$ 满足 ${\displaystyle \|\cdot \|_{\beta }\leq \|\cdot \|_{\alpha }}$。

范数等价的例子

对矩阵 ${\displaystyle A\in \mathbb {R} ^{m\times n}}$ 如下不等式成立^[1][2]：

• ${\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}}$
• ${\displaystyle \|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}}$
• ${\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }}$
• ${\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}}$

这里，${\displaystyle \|\cdot \|_{p}}$ 表示由向量 ${\displaystyle p}$-范数诱导的矩阵范数。

向量范数之间另一个有用的不等式是

${\displaystyle \|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}}$。

参考资料

1. Golub, Gene; Van Loan, Charles F., Matrix Computations 3rd, Baltimore: The Johns Hopkins University Press: 56–57, 1996, ISBN 0-8018-5413-X
2. Horn, Roger; Johnson, Charles, Matrix Analysis, Cambridge University Press, 1985, ISBN 0-521-38632-2

1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2] （页面存档备份，存于互联网档案馆）