矩阵论第一章线性空间和线性映射ppt课件.ppt

第一章,线性空间和线性映射,本章知识要点,线性空间：维数、基、坐标、基变换、坐标变换；线性空间的分解：子空间、值域(像空间)与核空间(零空间)、秩与零度、子空间的交、和与直和；线性变换及其矩阵表示：定义、运算、值域与核空间、秩与零度、相似类、特征值与特征向量、不变子空间、Jordan标准形;欧氏空间和酉空间：内积、度量矩阵、正交、标准正交基、正交分解与正交补、正交变换与正交矩阵、对称变换与对称矩阵、Hermite变换与Hermite矩阵、正规矩阵与可对角化、谱分解。Hibert空间：平方可积空间和平方可和空间。,集合,集合元素、子集、集合相等、运算（交、并、补）例：数域是一个集合含有加法+和乘法*含有元素0，满足对任何元素a，有 a+0=a；含有1，满足对任何元素a，有 a*1=a；任何元素 a 存在负元素 b，满足a+b=0；非零元素a存在逆元素b，满足a*b=1；对加法和乘法封闭常用数域有：有理数域、实数域、复数域,映射,映射：集合S到集合S的一个映射是指一个法则(规则)f:S S，对S中任何元素a，都有S中的元素a与之对应，记为：f(a)=a 或 aa。一般称a为a的像，a为a的原像。变换：若S=S，则称映射为变换。映射的相等：设有两个映射 f:S S和 g:S S，若对任何元素 aS 都有 f(a)=g(a)则称 f 与 g 相等。映射的乘积(复合)：若 f:S1 S2 和 g:S 2 S3，则映射的乘积 g f 定义为：g f(a)=g(f(a)。在不至混淆的情况下，简记 g f 为 gf,映射的例子,例子1：设集合S是数域F上所有阶方阵的集合，则 f(A)=det(A)为S到F的映射。例2：设S为次数不超过n的多项式构成的集合，则求导运算：(f(t)=f(t)为S到S的变换。例3：S为平方可积函数构成的集合，则傅里叶变换：为S到S上的一个变换。,线性空间的定义,定义：设 V 是一个非空的集合，F 是一个数域，在集合 V 中定义两种代数运算,一种是加法运算，用+来表示，另一种是数乘运算,用 来表示,并且这两种运算满足下列八条运算律：（1）加法交换律：+=+（2）加法结合律：(+)+=+(+)（3）零元素：在 V 中存在一个元素0，使得对于任意的V 都有+0=（4）对于V中的任意元素都存在一个元素 使得：+=0,线性空间的定义（续）,（5）数1：对V，有：1=（6）对k,lF,V 有：(kl)=k(l)（7）对k,lF,V 有：(k+l)=k+l（8）对kF,V 有：k(+)=k+k 称这样的集合 V 为数域 F 上的线性空间。可以证明：零元素唯一，每个元素的负元素都是唯一的。,线性空间的例子,例1：全体实函数集合 RR构成实数域 R 上的线性空间。例2：复数域 C上的全体 mn 阶 矩阵构成的集合Cmn 为 C 上的线性空间。例3：实数域 R 上全体次数小于或等于 n 的多项式集合 Rxn 构成实数域 R 上的线性空间。例4：全体正的实数 R+在下面的加法与数乘的定义下构成实数域上的线性空间：对任意 kR,a,bR+,例5：R表示实数域 R 上的全体无限序列组成的的集合。即,线性空间的例子（续）,则 R 为实数域 R上的一个线性空间。,在R中定义加法与数乘：,例 6 在 中满足Cauchy条件的无限序列组成的子集合也构成 R上的线性空间。Cauchy条件是：使得对于 都有,线性空间的例子（续）,例7 在 中满足Hilbert条件的无限序列组成的子集合构成 R 上的线性空间。Hilbert条件是：级数 收敛,线性空间的基本概念及其性质,基本概念：线性组合；线性表示；线性相关；线性无关；向量组的极大线性无关组；向量组的秩。基本性质：（1）含有零向量的向量组一定线性相关；（2）整体无关则部分无关；部分相关则整体相关；（3）如果含有向量多的向量组可以由含有向量少的向量组线性表出，那么含有向量多的向量组一定线性相关；（4）向量组的秩是唯一的，但是其极大线性无关组并不唯一；（5）如果向量组（I）可以由向量组（II）线性表出，那么向量组（I）的秩小于等于向量组（II）的秩；（6）等价的向量组秩相同。,例1 实数域 R上的线性空间 RR 中，函数组是一组线性无关的函数，其中 为一组互不相同的实数。例2 实数域 R 上的线性空间 RR 中，函数组是一组线性无关的函数，其中 为一组互不相同的实数。例3 实数域 R 上的线性空间 RR 中，函数组也是线性无关的。,例4 实数域 上的线性空间空间 中，函数组与函数组都是线性相关的函数组。,线性空间的基底与维数,定义：设 V 为数域 F上的一个线性空间。如果在 V 中存在 n 个线性无关的向量，使得 V 中的任意一个向量 都可以由 线性表出:则称 为 V 的一个基底；为向量 在基底 下的坐标。此时我们称 V 为一个 n 维线性空间，记为 dimV=n。,例1 实数域 R 上的线性空间 R3 中向量组与向量组,基底的例子,都是线性空间 R3 的基底，R3是3维线性空间。,例2 实数域 R上的线性空间 中的向量组与向量组 都是 的基。是4维线性空间。,基底的例子（续）,例 3 实数域 R上的不超过n次多项式的全体Pn中的向量组 与向量组都是 Pn 的基底，Pn的维数为 n+1。注意：通过上面的例子可以看出线性空间的基底并不唯一，但是维数是唯一确定的。由维数的定义,线性空间可以分为有限维线性空间和无限维线性空间。目前，我们主要讨论有限维的线性空间。,基底的例子（续）,例4 在4维线性空间 中，向量组 与向量组是其两组基，求向量 在这两组基下的坐标。,解：设向量A在第一组基下的坐标为于是可得 解得同样可解出在第二组基下的坐标为,设（旧的）与 新的）是 n 维线性空间 V 的两组基底，它们之间的关系为,基变换与坐标变换,将上式矩阵化可以得到下面的关系式：,称 n 阶方阵,是由旧的基底到新的基底的过渡矩阵(可逆)，那么上式可以写成,任取，设 在两组基下的坐标分别为 与，那么我们有,该式被称为坐标变换公式。,于是有：,与向量组,例1 在4维线性空间 中，向量组,为其两组基，求从基 到基 的过渡矩阵，并求向量 在这两组基下的坐标。解：容易计算出下面的矩阵表达式,向量A在第一组基下的坐标为,利用坐标变换公式可以求得A在第二组基下的坐标为,定义 设 V 为数域 F上的一个 n 维线性空间，W为V的一个非空子集合，如果对于任意的 以及任意的 都有那么我们称 为 的一个子空间。例1 对于任意一个有限维线性空间，它必有两个平凡的子空间，即由单个零向量构成的子空间,以及线性空间 本身.,线性空间的子空间,例2 设，那么线性方程组 的全部解为 维线性空间 的一个子空间，我们称其为齐次线性方程组的解空间。当齐次线性方程组 有无穷多解时，其解空间的基底即为其基础解系；解空间的维数即为基础解系所含向量的个数。例3 设 为 维线性空间 中的一组向量，那么非空子集合,构成线性空间 的一个子空间，称此子空间为有限生成子空间，称 为该子空间的生成元。的维数即为向量组 的秩，的最大无关组为基底。例4 实数域 R上的线性空间 中全体上三角矩阵集合，全体下三角矩阵集合，全体对称矩阵集合，全体反对称矩阵集合分别都构成 的子空间，,子空间的交与和,两个子空间的交:两个子空间的和:子空间交与和的性质若V1和V2都是V的子空间，则V1V2和V1+V2也是V的子空间.V1V2=V2V1，V1+V2=V2+V1(V1V2)V3=V1(V2V3)，(V1+V2)+V3=V1+(V2+V3)dimV1+dimV2=dim(V1+V2)+dim(V1V2)两个子空间的直和:若V=V1+V2，且V1V2=，则称V为V1与V2的直和。,线性变换,定义：设V是数域F上的线性空间，T:V V 为V上的映射，则称T为线性空间V上的一个变换或算子。若变换满足：对任意的k,lF和,V，有,则称T为线性变换或线性算子。线性变换的基本性质：（1）T(0)=0；（2）T(-x)=-T(x)；（3）线性相关的向量组的象任然是线性相关的。,线性变换的例子,例1：R2空间上的如下变换 为线性变换（该变换还是正交变换）。例2：设Pn为次数不超过n的多项式构成的集合，则求导运算：(f(t)=f(t)为Pn到Pn的线性变换。例3：V为平方可积复函数构成的空间，则傅里叶变换：为V上的线性变换。,线性变换的值域和核,V上的线性变换T的值域和核定义如下：R(T)=Tx|xVN(T)=x|Tx=0,xV定理：线性空间V的线性变换T的值域和核都是V的线性子空间，分别称为T的像空间和核空间。定义：线性变换T的像空间维数dimR(T)称为T的秩，核空间维数dim(N(T)称为T的亏。可以证明，若V维数为n，T的秩为r，则T的亏为n-r。,例：实数域 R上的不超过n次多项式的全体Pn中为线性空间，求导运算的象空间为Pn-1，核空间为R。,线性变换的运算,零变换T0：T0 x=0变换的加法：定义(T1+T2)x=T1x+T2x负变换：定义(-T)x=-(Tx)数乘：定义(kT)x=k(Tx)定理：V上所有变换构成的集合在以上加法运算和数乘运算下构成线性空间。单位变换Te：Tex=x变换的乘法：定义(T1T2)x=T1(T2x)逆变换：若T为一一对应，则可定义逆变换T-1。定理：V上所有线性变换构成的集合在以上加法和乘法运算下构成一个环，且是非交换环(环比数域条件弱)。,线性变换的矩阵表示,以下讨论均假设线性空间为F上的有限维空间，并以上标表示维数，如Vn、Wm等。设映射T为Vn上的线性变换，为空间的基底，则 可以用该基底线性表示，即,写成矩阵形式,对Vn中的任意元素x，设x和Tx的基底表示如下,于是有：,得到：,对Vn上的线性变换T，在基底 下可以用矩阵来表示：,定理：设Vn上的变换T在基底 下对应的矩阵为A，则R(T)=rank(A)N(T)=n-rank(A)（由AX=0立即得到）单位变换对应单位矩阵零变换对应零矩阵逆变换对应逆矩阵,设Vn上的线性变换T在两组基底 和 下对应的矩阵分别为A和B，两个基底之间的过度矩阵为P，即：,于是,即得,结论：相似矩阵表示相同的线性变换,矩阵的运算,零矩阵（对应零变换）矩阵加法（对应线性变换的加法）负矩阵（对应负线性变换）数乘（对应线性变换的数乘）定理：所有nm阶矩阵的集合在以上加法运算和数乘运算下构成线性空间。单位阵（对应单位变换）矩阵的乘法（对应变换的乘法）逆矩阵（对应逆变换）定理：所有n阶方阵的集合在以上加法和乘法运算下构成一个环，且是非交换环(环比数域条件弱)。,定义 设T是数域F上的线性空间V的一个线性变换，如果对于数域F中的某个元素0，存在一个非零向量，使得 那么称0为T的一个特征值，而称为 T 属于特征值0的一个特征向量。取定V的一组基底，设T在这组基下的矩阵是A，向量在这组基下的坐标是，那么我们有,线性变换的特征值与特征向量,即得,求解特征值与特征向量,选定线性空间的一个基底，求线性变换T在此基底下对应的矩阵A；求解矩阵A的特征多项式 的所有根；求出矩阵A的每一个特征值对应的特征向量；以A的特征向量为坐标求出对应的特征向量。,例1 设V是数域F上的3维线性空间，T是V上的一个线性变换，T在V的一个基 下的矩阵是求T的全部特征值与特征向量。解：求T的特征值等价于求对应矩阵的特征值和特征向量。,所以A的特征值是 3(二重)与-6。对于特征值 3，解齐次线性方程组得到一个基础解系：,从而T的属于 3 的极大线性无关特征向量组是于是T属于 3的全部特征向量是 这里 k1k20。对于特征值-6，解齐次线性方程组得到一个基础解系：,从而 T 的属于-6 的极大线性无关特征向量组是于是 T 的属于-6 的全部特征向量这里 k 为数域 F 中任意非零数。,特征值与特征向量的相关性质,特征子空间：线性变换T属于特征值0的特征向量生成的子空间，记为，其中的非零向量为特征向量。属于不同特征值的特征向量是线性无关的。Tr(AB)=Tr(BA)（方阵的对角线之和称为矩阵的迹）。相似矩阵具有相同的迹、行列式和秩。相似矩阵有相同的特征多项式和特征值。矩阵A是其特征多项式的零点，即设，则,矩阵的相似标准形,n阶矩阵A可以对角化的充分必要条件是A有n个线性无关的特征向量；实对称矩阵的特征值都为实数，且与对角矩阵相似；任何复矩阵与一Jordan矩阵相似；,矩阵可对角化的判定,推论：矩阵A可以对角化的充分必要条件是A的特征值的代数重数等于几何重数。注：特征值的代数重数是指该特征值作为特征多项式的根的重数。几何重数是指特征子空间的维数。即对每个特征值k,对应的特征子空间为的解空间，其维数称为几何维数。,例1 判断矩阵是否可以对角化？解：先求出A的特征值,于是A的特征值为1=1，2=2（代数重数=2）。由于1=1是单的特征值，它一定对应一个线性无关的特征向量。下面我们考虑2=2,于是 即特征子空间的维数为1，从而不可以相似对角化。,定义：已知 和关于变量 x 的多项式那么我们称 为 A 的矩阵多项式。设 A 为一个 n 阶矩阵，J 为其Jordan标准形，则于是有,矩阵的多项式表示与矩阵的最小多项式,我们称上面的表达式为矩阵多项式f(J)的Jordan表示。其中,例 已知多项式与矩阵,求 f(A)。解：首先求出矩阵 A 的Jordan标准形 J 及其相似变换矩阵P,那么有,定义：已知 和关于变量 x 的多项式如果 f(x)满足，那么称该多项式为矩阵 A 的一个零化多项式。,定理：已知，为其特征多项式,则有我们称此定理为Hamilton-Cayley定理。,定义：已知，在 A 的零化多项式中，次数最低且首项系数为1的零化多项式称为 A 的最小多项式，通常记为最小多项式的性质：已知，那么（1）矩阵 A 的最小多项式是唯一的。（2）矩阵的任何一个零化多项式均能被 整除。（3）相似矩阵有相同的最小多项式。,如何求一个矩阵的最小多项式?首先我们考虑Jordan标准形矩阵的最小多项式。例1：已知一个Jordan块,求其最小多项式。解：注意到其特征多项式为,则由上面的定理可知其最小多项式 一定具有如下形状，其中。但是当 时,因此有,.例2：已知对角块矩阵,而 分别为子块的最小多项式，则 的最小多项式为即为 的最小公倍数。,例3：求下列矩阵的最小多项式,解：（1）首先求出其Jordan标准形为所以其最小多项式为。（2）此矩阵的Jordan标准形为,从而其最小多项式为。（3）该矩阵的Jordan标准形为,故其最小多项式为。（4）此矩阵本身就是一个Jordan标准形，所以其最小多项式,Euclid空间（欧氏空间）,线性空间内积的定义：设V是实数域R上的n维线性空间，对于V中的任意两个向量、,按照某一确定法则对应着一个实数，这个实数称为与与的内积，记为(,)，并且要求内积满足下列运算条件：,我们称带有这样内积的线性空间为Euclid空间(欧氏空间)。,当且仅当=0时内积为零,例1 在Rn中，对于规定容易验证(,)是Rn上的一个内积，从而 Rn成为一个欧氏空间。如果规定,容易验证(,)2也是Rn上的一个内积，这样 Rn又成为另外一个欧氏空间。,例2 在mn维线性空间Rmn中，规定容易验证这是Rmn上的一个内积，这样 Rmn对于这个内积成为一个欧氏空间。例3 在实连续函数构成的线性空间 Ca,b中，规定,容易验证(f,g)是 Ca,b 上的一个内积，这样 Ca,b对于这个内积成为一个欧氏空间。,Euclid空间的性质,有限维线性欧氏空间,设实数域上有限维线性空间V的基底为，设向量x与y在此基底下的表达式如下,则x与y的内积可以表示如下,取,即A为实对称矩阵，而且(x,x)0表明A为正定的。,性质：（1）当且仅当 时（2）（3）（4）,欧氏空间的度量,定义：设V为线性欧氏空间，向量的长度或范数定义为,例1：在线性空间Rmn 中，证明证明：由于Tr(ABT)为线性空间中的内积，由三角不等式得证。例2：设Ca,b表示闭区间a,b上的所有连续实函数组成的线性空间，证明对于任意的f(x),g(x)Ca,b，我们有证明：由于 为线性空间Ca,b上的内积，由内积基本性质可得上式。,定义：设V为欧氏空间，两个非零向量 的夹角定义为 于是有定理：,定义：在欧氏空间V中，如果，则称 与 正交。定义：长度为1的向量称为单位向量，对于任何一个非零的向量，向量 总是单位向量，称此过程为单位化。,定义 设 为一组不含有零向量的向量组，如果 内的任意两个向量彼此正交，则称其为正交的向量组。命题 正交向量组一定是线性无关向量组。定义 如果一个正交向量组中任何一个向量都是单位向量，则称此向量组为标准的正交向量组。定义：在 n 维内积空间中，由 n 个正交向量组成的基底称为正交基底；由 n 个标准的正交向量组成的基底称为标准正交基底。注意：标准正交基底不唯一。,标准正交基底,定理：向量组 为正交向量组的充分必要条件是向量组 为标准正交向量组的充分必要条件是,定理：由一个线性无关的向量组出发可以构造一个正交向量组，甚至是一个标准正交向量组。,设 为 n 维内积空间 V 中的 r 个线性无关的向量，利用这 r 个向量构造一个标准正交向量组的步骤如下：第一步：,容易验证 是一个正交向量组.,Schmidt正交化方法,第二步 单位化显然 是一个标准的正交向量组。例1 运用正交化与单位化过程将向量组化为标准正交向量组。解：先正交化,再单位化,那么 即为所求的标准正交向量组。,以上正交化方法的结果与向量的次序有关。除此之外，还可以通过矩阵运算直接正交化。为此令：,则矩阵B=AAT为正定实对称矩阵，因此存在正交矩阵P，使得,其解空间的一个标准正交基底。解：先求出其一个基础解系下面对 进行正交化与单位化：,例2 求下面齐次线性方程组,即为其解空间的一个标准正交基底。,定义：设V是一个n维欧氏空间,是V的一个线性变换，如果对任意的 V都有,正交变换与正交矩阵,则称是V的一个正交变换。,定理：线性变换是正交变换的充分必要条件是：任意的 都有,证明：必要性，设是正交变换，则有,于是有充分性：取 立即可得为正交变换。,定义：设A为一个 n 阶实矩阵，如果其满足AAT=ATA=I则称A正交矩阵，一般记为AEnn。例：,设，那么,正交矩阵的性质,定理：设 ARnn，A是一个正交矩阵的充分必要条件为A的 n 个列（或行）向量组是标准正交向量组。,定理：设V是一个n维欧氏空间，是V的一个线性变换，那么下列陈述等价：（1）是正交变换；（3）将V的标准正交基底变成标准正交基底；（4）线性变换在标准正交基下的矩阵表示为正交矩阵。,定义：设V是一个n维欧氏空间,是V的一个线性变换，如果对任意的 都有,对称变换与对称矩阵,则称是V的一个对称变换。,定理：线性变换是实对称变换的充分必要条件是：在标准正交基下对应的矩阵是实对称矩阵。,证明：设在标准正交基下对应的矩阵为A，向量和的坐标为列向量X1和X2，则 的坐标分别为 AX1和AX2，于是有,酉空间,酉空间的定义：设V是复数域C上的n维线性空间，对于V中的任意两个向量、,按照某一确定法则对应着一个复数，这个复数为与的内积，记为(,)，并且要求内积满足下列运算条件：,我们称带有这样内积的线性空间为酉空间。,当且仅当=0时内积为零,酉空间内积的性质,酉空间的类似理论,酉空间和欧氏空间都属于内积空间，因此有相似的性质和结论标准正交基酉变换（对应欧氏空间的正交变换）Hermite变换与Hermite矩阵（即共轭对称矩阵，对应欧氏空间的对称变换与实对称矩阵）,定义：设，若存在，使得则称A酉相似(或正交相似)于B。,Schur引理与正规矩阵,定理(Schur引理)：任何一个n阶复矩阵（实矩阵）A酉相似（正交相似）于一个上(下)三角矩阵。证明：用数学归纳法。A的阶数为1时定理显然成立。现设A的阶数为k-1时定理成立，考虑A的阶数为k时的情况。取k阶矩阵A的一个特征值1，对应的单位特征向量为1，构造以1为第一列的k阶酉矩阵,因此,其中A1是k-1阶矩阵，根据归纳假设，存在k-1阶酉矩阵W满足,(上三角矩阵),因为 构成Ck的一个标准正交基，故,那么,令U=U1U2，则UHAU为上三角矩阵，定理得证。,令,定义:设ACnn，如果满足那么称矩阵A为一个正规矩阵。例:为实正规矩阵。定理:设ACnn，A是一个正规矩阵当且仅当A酉相似于对角矩阵。,证明:首先假设矩阵A是正规矩阵，对于A存在酉矩阵U，使得,由AAH=AHA可得：b12=b13=bn-1,n=0，即A与对角矩阵相似，必要性得证。充分性显然。,附：Hilbert空间,定义：完备的内积空间称为Hilbert空间。其中完备性是指任何柯西序列都有极限。因此n维欧式空间是Hilbert空间的特例。平方可积空间：定义在区间a,b上的连续函数，可以定义内积(f,g)称满足 的函数 f(t)为元素的线性空间为平方可积空间。记为L2(a,b)。平方可积空间是Hilbert空间。,平方可积空间例,L2(0,2)空间可以看做为周期函数构成的空间，其标准正交基为sin(nt),cos(nt)，任何一个函数在该基底下的坐标为其对应的傅里叶系数。L2(-,)空间为能量有限空间，其基底可以选择小波基2j/2(2jt-k)作为基底。注意如果考虑复数值函数，则傅里叶变换为该空间上的一个线性变换，且是一一对应的，即傅里叶变换是一个同构。,平方可和空间,对离散信号定义内积称满足 的序列为元素的线性空间为平方可和空间，记为l2(Z)。平方可和空间也是Hilbert空间，离散时间傅里叶变换。为l2(Z)到L2(0,2)的线性映射。,L2空间,概率论中，称为基本事件、A(F)为事件，F是事件的全体，P(A)称为事件的概率，这样可定义概率空间(，F，P)。用Lp=Lp(，F，P)(p1)表示具有有限p阶矩的随机变量=()的空间，称为Banach空间，其中E|p=。其中，起重要作用的是具有有限二阶矩的随机变量的Hilbert空间L2=L2(，F，P)，简称为L2空间,L2空间（续）,L2空间中的任何两个随机变量x()和y()的内积定义为(x,y)=E(xHy)。|x|2=E(xHx)0.5称为随机向量x的范数。这样，最小|e|22既可指最小均方误差，也可指最小二乘误差。x(t)=E(x(t,)称为随机向量x(t,)的均值向量。Rx(t,t+)=E(x(t,)xH(t+,)为x的自相关矩阵，x平稳时，x(t)=x和Rx(t,t+)=Rx()。x(t,)=x(t,)-x(t)为随机向量x的中心化向量。Cx(t,t+)=Rx(t,t+)为x的自协方差矩阵。,L2空间（续）,L2空间中的任何两个随机变量x()和y()统计不相关，若Cxy=O；x()和y()正交，若Rxy=O。随机向量的线性变换：若y()=Ax()，则y(t)=Ax(t)和Ry=ARxAH高斯白噪声的统计特性：x(t)=0，Rx(0)=2IL2空间的元素序列xn收敛于极限x意味着|xn-x|0，即E(xn-x)H(xn-x)0。在L2空间内xn依范数收敛于x称为均方收敛。,