Math001.Linear Algebra and Matrix Analysis
Lecture Notes of Matrix Analysis
Perface
This is a lecture note of Matrix Analysis course during my master's degree in Tongji University. With a base of linear algebra, this course is mainly aimed at introducing the Jordan Matrix which is relative to the "diagonalization" of a matrix without full rank. Besides, this course will remind us some important concepts of linear algebra, while it is mainly focused on the matrix and vector.
In section 0, we will introduce some basic concepts of linear algebra, such as vector, matrix, linear transformation, linear combination, linear independence, span, dimension, basis, rank(秩), space, similar(相似) matrix, eigenvalue and eigenvector(特征值和特征向量), congruent(合同) matrix, orthogonal(正交) matrix, quadratic form(二次型), positive-definite(正定) matrix etc.
Contents
Section 0. Basic Concepts of Linear Algebra
0.1.Determinant 行列式
我们线性代数一般接触的第一个概念就是行列式。但是从来没有老师告诉过我们行列式是什么。我们像被训练机器一样训练去计算行列式！为了展示其本质与方便理解，我们将通过三种方式定义行列式。
0.1.1.First Definition of Determinant 行列式第一定义
Definition 0.1.1.1 Determinant 行列式
行列式 是一个关于矩阵 的几何度量标量，定义为以下符号：
其中 是矩阵 的第 行第 列的元素。
为什么说是几何度量？我们看到以下2×2矩阵的行列式，不难计算出其行列式的值:
我们不妨现在看这个情况：
给定矩阵 . 我们关注到给定向量 和 情况下由这两个向量确定的平行四边形 的面积：
于是我们有：
惊讶地发现，矩阵 的行列式就是其列向量 和 所确定的平行四边形的面积。
-
在三维之中也是一样的：
由三个三维列向量 组成的矩阵 的行列式 的计算公式为：
计算出的结果为三个三维向量组成的六面体体积。
-
综上为行列式第一种定义：
Pro 0.1.1.1 Geometry meaning of determinant 行列式几何定义（第一定义）
行列式的第一种定义最为直观，表示的是一个 矩阵所含列向量张成的 维几何体的几何度量。如二维表示面积，三维表示体积。
0.1.2.Basic Rules of Determinants 矩阵行列式基本规则
Theorem 0.1.2.1 Basic Rules of Determinants 矩阵行列式基本规则
- 转置后行列式不变：
- 某行或某列元素全为0，行列式为0
-
某行或某列有公因子 ，可以提到外面。(倍乘性质)
-
行列式某行或某列可以拆成两数之和，则可以拆成两行列式之和
- 两行互换，行列式变号（互换性质）
- 某一行列与另一行列成比例或相等，行列式为0。
- 某一行列 倍加到另一行，行列式不变。（倍加性质）
注意以上性质均可通过第一种定义推导出来。需要掌握并理解第一定义。
0.1.3.Second Definition of Determinant 行列式第二定义
行列式第二定义是通过逆序数与全排列来定义的。
Definition 0.1.3.1 Permutation 排列
由 个数 组成的一个有序数组称为 阶排列。如 是一个 阶排列。 阶排列有 种情况。
Definition 0.1.3.2 Inverse Permutation 逆序
由 个数 组成的一个排列，若 且 在 前面，则称这两个数构成一个逆序。如 中， 比后面的都小，不构成逆序； 比后面的 小但比后面的 大，构成1个逆序； 比后面的都小，不构成逆序； 后面没有了，不构成逆序。
Definition 0.1.3.3 Inverse Permutation Number 逆序数
一个排列的逆序数定义为：一个排列中逆序对的个数。如 逆序数为1。
Definition 0.1.3.4 Second Definition of Determinant 行列式第二定义
二阶及二阶以上的行列式（ 阶）的行列式定义为：
这是啥意思呢？ 是求 阶排列的逆序数。这个定义的意思是，我们要求 阶行列式，那我们就要把1到n进行全排列，并将每种情况下上述表达式计算并求和。通过一个例子解释就能懂了：
Example 0.1.3.1
我们首先固定第一个下标顺序为1，2，3，然后对3阶排列进行枚举，一共有 种，分别是： ，对六种情况分别赋值给 ，这就得到了 ，最后确定每项的正负号，则是通过 排列的逆序数来定。如 的逆序数为0，因此 最终是正号，而 的逆序数为1，因此 最终是负号，以此类推，得到结果。这就是通过第二种行列式定义下计算。
0.1.4.Third Definition of Determinant 行列式第三定义
第三定义又称行列式展开定理。通过对某一行或某一列的展开，得到行列式的计算式。
Definition 0.1.4.1 Minor 余子式
设 是 阶矩阵， 是 的一个元素， 是 中去掉第 行第 列的子矩阵， 是 的行列式，称为 的余子式。
Definition 0.1.4.2 Cofactor 代数余子式
设 是 阶矩阵， 是对应 的余子式，则记 为代数余子式，其中
Definition 0.1.4.3 Third Definition of Determinant 行列式第三定义
设 是 阶矩阵，其行列式等于某行元素或某列元素与对应代数余子式的乘积的和。即
- 当某一行或某一列元素和另一行或另一列的代数余子式相乘再求和，其值一定为0。
Example 0.1.4.1
Solution
按照第一列展开，原式等于：
0.1.5.Some basic Calculation of Determinant 行列式的基本计算
-
主对角线型
-
副对角线型
前面的系数为第二定义下的一个逆序数，也可以使用交换行的方法得到。
-
拉普拉斯展开式
设 为 阶矩阵， 为 阶矩阵，则：
-
范德蒙德行列式
计算行列式需要注意，加加减减能消去的一定要注意观察，先观察再动手计算会省掉很多麻烦。
0.1.6.Cramer's Rule 克拉默法则
Definition 0.1.6.1 Cramer's Rule 克拉默法则
对n个方程n个未知数（前提）的非齐次线性方程组
若 ，则方程组有唯一解，且解为 ，其中 为常数项 替换掉 中第 列元素得到的行列式。注意 则有无穷多解。
0.2.Matrix 矩阵
引入：注意以下基本观点：
- 矩阵由若干行/列向量拼成
- 矩阵内部行列可能有某种关系，当关系不存在时称为满秩。
- 给定矩阵 ，设矩阵的秩 ，则 等于 的非零行/列向量的最大线性无关组的元素个数。即
- 秩是矩阵最本质的东西
0.2.1.Definition of Matrix 矩阵定义
Definition 0.2.1.1 Matrix 矩阵
矩阵由若干行/列向量拼成。由 个数排成的m行n列数表称为矩阵
两个矩阵的行列分别相等，则称两个矩阵同型。
Definition 0.2.1.2 Square Matrix 方阵
从矩阵定义中引得，方阵是 行 列的矩阵，且 。
0.2.2.Matrix Operation 矩阵运算
- 加法：同型矩阵对应元素相加
- 数乘：矩阵每个元素与数相乘
- 叉乘(简称乘)：以下着重介绍
Definition 0.2.2.1 Cross Product 叉乘
设 为 行 列矩阵， 为 行 列矩阵，相乘后为 行 列矩阵 。
记 中 行 列元素为 ，则：
- 注意 列数与 行数相等。
-
矩阵乘法满足以下定律
- 结合律
- 分配律
- ！！！但一般不符合交换律。左乘右乘区别很大。
0.2.3.Matrix Transpose 矩阵转置
Definition 0.2.3.1 Matrix Transpose 矩阵转置
设矩阵 为 行 列矩阵，则 为 行 列矩阵，且
字面意思，第 行变成第 列，第 列变成第 行。
-
转置满足以下运算律
- 转置的转置等于原矩阵：
- 转置的数乘等于数乘的转置：
- 转置的加法等于加法的转置：
- 转置的乘法等于乘法的转置：
0.2.4.Power of a Square Matrix 方阵的幂
Definition 0.2.4.1 Power of a Square Matrix 方阵的幂
为 方阵，则 称为 的 次幂。
- 注意， 没有办法直接通过二项式定理展开。因为矩阵交换律不满足。 和 没法合并。
Example 0.2.4.1
设 ， ， ，求 。
Solution
， 注意 是一个数 ， 因此原式=
- 求幂先注意这个矩阵是否为秩一矩阵，若是则可以把矩阵分解为两个向量的叉积。
Example 0.2.4.2
，求 。
Solution
此处恰好允许交换律：
发现是幂零矩阵，因此原式只需考虑三次方以前的，不用考虑后面的，因此原式等于
- 对于上例，注意是否可以拆成“对角阵+某阵”，这将允许你使用交换律和二项式定理。
- 注意寻找幂零矩阵。
0.2.5.Determinant of Square Matrix 方阵的行列式
0.2.6.Several Important Matrix 几种重要矩阵
- 零矩阵：元素全0
- 单位矩阵(Identical Matrix)：主对角线上元素为1，其他元素为0的矩阵。记为 。只能是方阵
- 数量阵： ，只能是方阵
- 对角阵(Diagonal Matrix)：对角线上有元素。只能是方阵
- 上(下)三角阵：都是方针，上三角阵对角线以下元素全为0，下三角阵对角线以上元素全为0。
- 对称阵(Symmetric Matrix)：矩阵的转置等于自身。
- 反对称阵(Antisymmetric Matrix)：矩阵的转置后每个元素等于自身对应位置的负数。即
0.2.7.Matrix Block 矩阵分块
Definition 0.2.7.1 Matrix Block 矩阵分块
行分块：
列分块：
- 分块后运算律和普通矩阵一致，包括加法，数乘，叉乘。
0.2.8.Matrix Inverse 矩阵求逆
Definition 0.2.8.1 Inverse 求逆
为 阶矩阵，若存在矩阵 ，使得 ，则称 为 的逆矩阵，记为 。
Proposition 0.2.8.1
可逆的充要条件是 的行列式不为0。
Proof
-
先证 可逆 ：
， 因此 。
-
再证 可逆：
-
给定 为同行可逆矩阵，有以下重要性质
- ，
- 任何性质无从得知。
Example 0.2.8.1
均为 阶方阵，且 ，则请写出一组可逆矩阵。
Solution
这是一道很典型需要配方的题。一般处理这种矩阵等式需要统一移到一边，然后配凑 使得其能因式分解。
，因此 与 可逆。 fin.
Example 0.2.8.2
均为 阶方且可逆，且 存在。求 。
Solution
逆的里面有加号，不好处理，我们更喜欢乘法，因此考虑想方设法提出因子。
fin.
0.2.9.Adjugate Matrix 伴随矩阵
Definition 0.2.9.1 Adjugate Matrix 伴随矩阵
为n阶方阵，则 的伴随矩阵为
每个元素为 转置后相同位置的代数余子式。换而言之 的代数余子式 放到伴随矩阵中 位置上。
Theorem 0.2.9.1
Proof
注意在前一章已经说过了，当某一行或某一列元素和另一行或另一列的代数余子式相乘再求和，其值一定为0。
Proposition 0.2.9.1
-
通过上面的定理推出的。 ，然后得出上式。
- 我们可以通过求伴随的方式求逆，根据伴随的定义公式，可以知道 。
- 二阶矩阵求伴随遵循“主对调，副变号”。
Example 0.2.9.1
设 均为二阶方阵，若 ，请求 ，使用 表示。
Solution
分块矩阵的行列式为 ，因此该分块阵可逆。这个分块阵的逆容易求，但伴随不好求。我们可以通过逆求伴随。
0.2.10.Elementary Row and Column Operations 矩阵初等变换
- 1.互换行/列
- 2.某行/列数乘
- 3.某一行/列 倍加到目标行/列
Definition 0.2.10.1 Elementary Matrix 初等矩阵
以三阶矩阵为例，初等矩阵左乘（放在左边）目标矩阵做的是行变换，同理，目标阵右乘初等矩阵是列变换
- 互换行：
- 某行数乘：
- 第二行 倍加到第三行：
Theorem 0.2.10.1
- 初等矩阵的转置是初等矩阵
-
初等矩阵均可逆，且：
- 极为重要：若矩阵 可逆，其一定可以写成有限个初等矩阵的乘积。
Definition 0.2.10.2 row echelon form and reduced row echelon form 行阶梯形矩阵与行最简型矩阵
-
行阶梯形矩阵，满足以下条件：
- 0行必定在非零行下方
- 各非零行左起第一个非零元素的列指标由上而下严格增大。
- 例子：
-
行最简型矩阵，满足以下条件：
- 行阶梯形矩阵
- 各非零行左起第一个非零元素为1且其所在列其它元素为0。
- 例子：
Theorem 0.2.10.2
求逆方法：
Proof
Proposition 0.2.10.1
分块阵求逆：
Example 0.2.10.1
A为三阶可逆阵，B为A的1，2行交换， ，求B的逆。
Solution
。
Example 0.2.10.2
，求 。
Solution
，故A= 。
0.2.11.Equivalent Matrices and the Canonical Form of a Matrix (under equivalence)等价矩阵与等价标准型
Definition 0.2.11.1 Equivalent Matrices 等价矩阵
设A,B均是 的矩阵，存在可逆阵 ，使得 ，则称A,B互相是对方的等价矩阵。记作
Definition 0.2.11.2 Canonical Form of a Matrix 等价标准型
上述定义将B改为 ，称为A的等价标准型。
Example 0.2.11.1
，已知AB等价，求a，并求出全部可逆阵P使
Solution
- 对A做初等行变换使得A秩等于B秩。
- 我们熟悉 ，把 按照列延拓，得到 ，本质上只是变成解多个非齐次方程 。本题思路也一样，但是此时要求的 即 变到了左侧，因此，可以在原式基础上全部转置，得到 ，再根据上述思路解。求解在后续解非齐次线性方程组后会学到，此处只讲一个前处理步骤。
0.2.12.The Rank of a Matrix 矩阵的秩
- 这个是矩阵，线性空间的本质，较难。
Definition 0.2.12.1 Rank of a Matrix 矩阵的秩
设A为m×n的矩阵，若存在k阶子式不为0，而任意k+1阶子式全为0，则A的秩为 。特别的，对于n阶阵A，
如何理解这个定义？我们回顾行列式为0的条件，全零行/列存在，或者两行/列成比例。当线性相关，取最大阶子式必定为0，最终能推出不满秩。
- 化为行阶梯，非零行数就是其的秩
Proposition 0.2.12.1 对于矩阵 ，以下是几个关于秩的不等式：
- ，由定义
- ，其中A为大于等于二阶的方阵
- 左右乘可逆阵不改变原秩
- 若 ，则