范数

数学的基本概念之一

范数(norm)是数学中的一种基本概念。在 泛函分析 中,它定义在赋范 向量空间 中,并满足一定的条件,即①非负性;②齐次性;③三角 不等式 。它常常被用来度量某个 向量 空间 (或矩阵)中的每个向量的长度或大小。

名词定义

词语解释

范数 ,是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范数是一个函数,是 矢量 空间内的所有矢量赋予非零的正 长度 或 大小 。半范数可以为非零的矢量赋予零长度。

定义范数的矢量空间是赋范矢量空间;同样,定义半范数的矢量空间就是赋半范矢量空间。

注: 在二维的欧氏几何空间 R中定义欧氏范数,在该 向量空间 中,元素被画成一个从原点出发的带有 态射 的有向 线段 ,每一个矢量的有向线段的长度即为该矢量的欧氏范数。

性质

假设 是域 上的矢量空间, 的 半范数 是一个函数 , ,满足:

(非负性)

(正值齐次性)

(三角不等式).

范数=半范数 额外性质 *

赋范线性空间

若 若 是 数域 上的线性空间, 泛函 满足:

(1)正定性: ,且 ;

(2)正齐次性: ;

(3)次 可加性 (三角 不等式 ): 。

那么, 称为 上的一个范数。

如果线性空间上定义了范数,则称之为 赋范线性空间 。

当且仅当 是零 矢量 (正定性)时, 是零矢量;若拓扑 向量空间 的拓扑可以被 范数 导出,那么这个拓扑矢量空间被称为赋范矢量空间。

与其它数关系

(1) 范数 度量 拓扑: 因此赋范线性空间是 度量空间; 但是由度量不一定可以得到范数。

(2) 如果赋范线性空间作为(由其范数自然诱导度量 的)度量空间是完备的,即任何 奥古斯丁-路易·柯西 (Cauchy)序列在其中都收敛,则称这个赋范线性空间为 斯特凡·巴拿赫 (Banach)空间 。

(3) 点积 范数: ;范数不一定可以推出内积;当范数满足 平行四边形 公式 时,这个范数一定可以诱导内积;完备的 内积空间 称为 希尔伯特空间 。

(4) 如果去掉范数定义中的正定性,那么得到的 泛函 称为半范数(seminorm或者叫准范数),相应的 向量空间 称为 赋准范线性空间 。

对于X上的两种范数 ,若存在正常数C满足: 那么称 弱于 。如果 弱于 , 且 弱于 ,那么称这两种范数等价。

可以证明,有限维空间上的范数都等价,无限维空间上至少有阿列夫(实数集的基数)种不等价的范数。

算子

如果 和 是 巴拿赫空间 , 是 的线性算子,那么可以按下述方式定义 :

根据定义容易证明:

对于多个空间之间的复合算子,也有, 。

如果一个线性算子 的范数满足 那么称 是有界线性算子,否则称 是无界线性算子。

如,在常用的范数下,积分 映射 是有界的, 微分算子 是无界的。

容易证明,有限维空间的所有线性算子都有界。

空间

基本性质

有限维空间上的范数具有良好的性质,主要体现在以下几个 定理 :

性质1 :

对于有限维赋范 向量空间 的任何一组基,范数是元素(在这组基下)的坐标的 连续函数 。

性质2( Minkowski 定理) :

有限维线性空间的所有范数都等价。

性质3(Cauchy收敛原理) :

实 数域 (或复数域)上的有限维线性空间(按任何范数)必定完备。

性质4 :

有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。

常用

这里以 空间为例, 空间类似。

最常用的范数就是 范数。若 ,那么

可以验证 范数确实满足范数的定义。其中三角 不等式 的证明不是平凡的,这个结论通常称为 赫尔曼·闵可夫斯基 (Minkowski)不等式。

当p取 的时候分别是以下几种最简单的情形:

1-范数:

2-范数:

∞-范数:

其中 范数就是通常意义下的距离。

对于这些范数有以下 不等式 :

另外,若 和 是赫德尔(Hölder)共轭指标,即 ,那么有赫德尔不等式:

当 时就是柯西-许瓦兹(Cauchy-Schwarz)不等式。

矩阵

一般来讲 矩阵范数 除了正定性,齐次性和三角 不等式 之外,还规定其必须满足相容性: 所以矩阵范数通常也称为相容范数。

如果║·║α是相容范数,且任何满足║·║β≤║·║α的范数║·║β都不是相容范数,那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数 ,总存在唯一的 实数 k>0,使得 是极小范数。

注:如果不考虑相容性,那么矩阵范数和 向量 范数就没有区别,因为mxn矩阵全体和mn维 向量空间 同构 。引入相容性主要是为了保持矩阵作为线性 映射 的特征,这一点和算子范数的相容性一致,并且可以得到Mincowski 定理 以外的信息。

诱导

把矩阵看作线性算子,那么可以由向量范数诱导出 矩阵范数

它自动满足对向量范数的相容性

并且可以由此证明:

注:

⒈ 上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理),从而上面的 连续函数 可以取到最值。

⒉ 单位矩阵 的 映射 范数为1。

常用的三种p-范数推导出的 矩阵范数 :

1-范数:

(列和范数,A每一列元素 绝对值 之和的最大值)(其中∑|ai1|第一列元素绝对值的和 其余类似);

2-范数:

的最大奇异值 (谱范数,即A^H*A特征值λi中最大者λ1的平方根,其中A为A的转置共轭矩阵);

∞-范数:

(行和范数,A每一行元素 绝对值 之和的最大值)(其中 为第一行元素绝对值的和,其余类似);

其它的p-范数则没有很简单的表达式。

对于p-范数而言,可以证明 ,其中p和q是共轭指标。

简单的情形可以直接验证: ,一般情形则需要利用 。

非诱导

有些 矩阵范数 不可以由向量范数来诱导,比如常用的Frobenius范数(也叫 Euclid 范数,简称F-范数或者E-范数):

(A全部元素平方和的平方根)。

容易验证F-范数是相容的,但当 时F-范数不能由向量范数诱导 。

可以证明任一种矩阵范数总有与之相容的 向量 范数。

例:

定义 是由 作为列的矩阵。由于 向量 的F-范数就是2-范数,所以F-范数和向量的2-范数相容。

另外还有以下结论 :

矩阵谱半径

定义:

A是n阶方阵, 是其特征值, 。则称特征值得绝对值得最大值为A的谱半径,即为 。

注 :注意要将谱半径与谱范数(2-范数)区别开来,谱范数是指A的最大奇异值,即 最大特征值的算术平方根。

谱半径是矩阵的函数,但不是 矩阵范数 。谱半径和范数的关系是以下几个结论:

定理 1:

谱半径不大于矩阵范数,即 。

因为任一特征对 , ,可得 。两边取范数并利用相容性即得结果。

定理2:

对于任何方阵A以及任意 正数 ,存在一种矩阵范数使得 。

定理3(Gelfand定理 ):

。

推论:

推论1:矩阵序列 收敛于零的充要条件是 。

推论2: 级数 收敛到 的充要条件是 。

酉不变

定义 :

如果范数║·║满足║A║=║UAV║对任何矩阵A以及酉矩阵U,V成立,那么这个范数称为酉不变范数。容易验证,2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值,所以由奇异值得到的范数是酉不变的,比如2-范数是最大奇异值,F-范数是所有奇异值组成的 向量 的2-范数。反之可证明,所有的酉不变范数都和奇异值有密切联系,任何酉不变范数事实上就是所有奇异值的一个对称度规函数。