文章

la-basics: objects and operation

Linear Algebra
本文目录 52

线代基础 Part 1：基本对象与运算

写在前面

这几篇blog是我在学习了一些矩阵分解之后，对线性代数的回看，发现对它的理解又更深了一层。于是趁着这个机会，再拜读一下strang的教材

目前所有的大纲都是dpsk搭建的，我会先挑选自己感兴趣的一部分进行解析，有时间的话再把其余部分的解析也加上去

对应 Strang Introduction to Linear Algebra 6/e — Chapter 1 向量与矩阵 + Chapter 2 解线性方程组

Keywords: linear-algebra, vectors, matrices, elimination, matrix-factorization

本篇覆盖线性代数最底层的”砖石”：向量、矩阵、以及它们之间的运算规则。在此之上，引入解线性方程组的主线——高斯消元法，并将消元过程重新解读为矩阵分解（A=LUA = LU），这是全书”计算即分解”思想的第一块基石。

1. 向量与线性组合 (Ch1.1)

1.1 向量的定义

  • Rn\mathbb{R}^n 中的向量：nn 个实数的有序排列
  • 列向量 vs 行向量
  • 几何直观：空间中的箭头（R2\mathbb{R}^2 → R3\mathbb{R}^3 → Rn\mathbb{R}^n）

1.2 向量的基本运算

  • 向量加法：平行四边形法则
  • 数乘 (scalar multiplication)
  • 线性组合 (linear combination)：c1v1+c2v2+⋯+ckvkc_1v_1 + c_2v_2 + \cdots + c_kv_k
    • 全书核心起点 —— 几乎所有概念都从线性组合出发

1.3 张成空间 preview

  • span{v1,…,vk}\text{span}\{v_1, \dots, v_k\} 的定义与几何含义
  • 二维中张成一条线 / 整个平面
  • 预告：span → 列空间 → 子空间（Part 2 展开）

2. 长度与点积 (Ch1.2)

2.1 点积的定义

  • v⋅w=v1w1+v2w2+⋯+vnwnv \cdot w = v_1w_1 + v_2w_2 + \cdots + v_nw_n
  • 几何定义：v⋅w=∥v∥∥w∥cos⁡θv \cdot w = \|v\|\|w\|\cos\theta

2.2 长度的概念

  • ∥v∥=v⋅v\|v\| = \sqrt{v \cdot v}（欧几里得范数）
  • 单位向量 (unit vector)
  • 两个向量之间的距离：∥v−w∥\|v - w\|

2.3 正交性

  • v⊥w  ⟺  v⋅w=0v \perp w \iff v \cdot w = 0
  • 预告：正交基、正交矩阵、正交子空间（Part 2 展开）

2.4 核心不等式

  • Cauchy-Schwarz 不等式：∣v⋅w∣≤∥v∥∥w∥|v \cdot w| \le \|v\|\|w\|
  • 三角不等式：∥v+w∥≤∥v∥+∥w∥\|v + w\| \le \|v\| + \|w\|
  • 几何意义与证明思路

3. 矩阵入门 (Ch1.3)

一个矩阵就是一个填满了数字的方块，例如

TODO：例子

3.1 矩阵的记法

  • m×nm \times n 矩阵：mm 行、nn 列
  • aija_{ij} 表示第 ii 行第 jj 列的元素
  • 通常的几种矩阵：方阵、零矩阵、单位矩阵 II

3.2 列视角 vs 行视角

或者还可以将它看作是列向量/行向量的组合

  • 列视角：一个 m×nm\times n 矩阵 = nn 个 Rm\mathbb{R}^m 列向量排在一起
  • 行视角：一个 m×nm\times n 矩阵 = mm 个 Rn\mathbb{R}^n 行向量排在一起

3.3 矩阵 × 向量的两种理解

接下来引入矩阵和向量的乘法，这个运算也是关联线性代数和线性方程组的运算。

矩阵和向量的乘法是一个可以看作一个点积的运算，亦或看作一个列的线性组合。也就是说可以看作数学上的定义或者是几何上向量组合的理解*（这两点在后面矩阵乘法的时候会详细说明）*

  • Row-dot-product：AxAx 第 ii 分量 = rowi(A)⋅x\text{row}_i(A) \cdot x
  • Column combination：Ax=x1(col1)+x2(col2)+⋯+xn(coln)Ax = x_1(\text{col}_1) + x_2(\text{col}_2) + \cdots + x_n(\text{col}_n)
    • AxAx 是 AA 的列的线性组合
    • 这是理解整个线代的关键视角

4. 线性方程组的三种视角 (Ch2.1)

4.1 方程组 → 矩阵形式

  • {2x+y=3x−y=1\begin{cases} 2x + y = 3 \\ x - y = 1 \end{cases} → [211−1][xy]=[31]\begin{bmatrix}2&1\\1&-1\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix} = \begin{bmatrix}3\\1\end{bmatrix}
  • 一般形式：Ax=bAx = b

4.2 Row Picture（行视角）

  • 每个方程是 Rn\mathbb{R}^n 中的一个超平面
  • 解 = 所有超平面的交点
  • 二维中是两条直线的交点；三维中是三个平面的交点

4.3 Column Picture（列视角）

  • Ax=bAx = b 即 bb 是 AA 的列向量的线性组合
  • 问：列向量的线性组合能否到达 bb？
  • 预告：有解 ⇔ bb 在 AA 的列空间中（Part 2）

4.4 Matrix Picture（变换视角）

  • AA 作为一个”黑箱”：输入 xx，输出 bb
  • AA 是 Rn\mathbb{R}^n → Rm\mathbb{R}^m 的映射
  • 预告：这个视角通向”线性变换”（Part 4）

4.5 线性无关——提前引入 (6/e 新特色)

  • 列线性相关 = 其中一个列可以被其他列线性组合出来
  • 列线性独立 ⇔ Ax=0Ax = 0 只有 x=0x = 0 一个解
  • 列线性独立的向量个数 ≤ 向量所在空间的维数

5. 高斯消元法 (Ch2.2 - 2.3)

5.1 消元思想

  • 从一个方程减去另一个方程的倍数，消去一个未知数
  • 目标：化为上三角形式（Ux=cUx = c）

5.2 主元 (pivot) 与乘数 (multiplier)

  • 第 kk 步的主元 = 第 kk 行第 kk 列的元素
  • 乘数 lik=aik(k)/akk(k)l_{ik} = a_{ik}^{(k)} / a_{kk}^{(k)}：消去第 ii 行的倍数
  • 主元为零时：
    • 该列下方还有非零元素 → 行交换
    • 该列下方全为零 → 移到下一列（继续 / 或矩阵奇异）

5.3 消元矩阵 EE

  • 每一步消元 = 左乘一个消元矩阵
  • 例：E21=[100−l2110001]E_{21} = \begin{bmatrix}1&0&0\\-l_{21}&1&0\\0&0&1\end{bmatrix}，从第 2 行减掉 l21l_{21} 倍的第 1 行
  • 多步消元：E32E31E21A=UE_{32}E_{31}E_{21}A = U（上三角矩阵）

5.4 增广矩阵与回代

  • 增广矩阵 [A∣b]\begin{bmatrix}A \mid b\end{bmatrix}，同时对 bb 做消元
  • 上三角方程组 → 从下往上回代 (back substitution)

5.5 消元失效的情况

  • 主元为零 → 可能需要行交换
  • 行交换后仍然没有主元 → 矩阵奇异 (singular)
  • 奇异 = 方程有无穷多解或无解

6. 矩阵运算规则 (Ch2.4)

6.1 矩阵加法、数乘

  • 逐元素运算 (element-wise)
  • A+B=B+AA + B = B + A（加法交换）
  • c(A+B)=cA+cBc(A + B) = cA + cB

6.2 矩阵乘法 —— 四种等价视角

视角公式直觉
① 行×列（点积）(AB)ij=rowi(A)⋅colj(B)(AB)_{ij} = \text{row}_i(A) \cdot \text{col}_j(B)每个元素 = 一个点积
② 列的组合colj(AB)=A⋅colj(B)\text{col}_j(AB) = A \cdot \text{col}_j(B)ABAB 的第 jj 列 = AA 的列的线性组合
③ 行的组合rowi(AB)=rowi(A)⋅B\text{row}_i(AB) = \text{row}_i(A) \cdot BABAB 的第 ii 行 = BB 的行的线性组合
④ 外积之和AB=∑kcolk(A)rowk(B)AB = \sum_{k} \text{col}_k(A)\text{row}_k(B)ABAB = rank-1 矩阵的叠加

TODO：例子 列的组合，对一个矩阵右乘一个矩阵，这个右边矩阵的每一个列向量都是相当于对被乘矩阵的列向量做一个线性组合

同理，举一个行组合的例子

6.3 乘法的运算规则

  • 结合律：A(BC)=(AB)CA(BC) = (AB)C ✅
  • 分配律：A(B+C)=AB+ACA(B+C) = AB + AC ✅
  • 不交换：AB≠BAAB \neq BA（大部分情况下）❌
  • AI=IA=AAI = IA = A（单位矩阵是乘法恒等元）

6.4 分块矩阵乘法

  • 把矩阵切成子块，按矩阵乘法规则乘
  • 前提：分块大小要相容
  • 用处：理解 Strang 的”列行分解”和一些证明思路

7. 逆矩阵 (Ch2.5)

7.1 逆的定义

  • A−1A=AA−1=IA^{-1}A = AA^{-1} = I
  • 只有方阵才有逆；方阵也不一定可逆
  • 可逆 = 非奇异 (nonsingular)；不可逆 = 奇异 (singular)

7.2 Gauss-Jordan 法求逆

  • [A∣I]→消元[I∣A−1]\begin{bmatrix}A \mid I\end{bmatrix} \xrightarrow{\text{消元}} \begin{bmatrix}I \mid A^{-1}\end{bmatrix}
  • 本质上：同时对 nn 个 bb（即单位矩阵的各列）解方程

7.3 可逆性的等价条件（预览）

  • det⁡A≠0\det A \neq 0
  • AA 的列线性无关
  • AA 的秩 = nn
  • Ax=0Ax = 0 只有 x=0x = 0 解
  • (Part 2 会依次验证)

7.4 逆的运算性质

  • (AB)−1=B−1A−1(AB)^{-1} = B^{-1}A^{-1}（注意顺序！）
  • (A−1)T=(AT)−1(A^{-1})^T = (A^T)^{-1}（逆和转置可换序）

7.5 奇异矩阵的几何含义

  • 变换压缩了维度（如 R2\mathbb{R}^2 → 一条线）
  • 无法 “反向”——多个输入映射到同一个输出

8. 消元 = 分解：A=LUA = LU (Ch2.6) 🔑🔑

8.1 从 EA=UEA = U 到 A=LUA = LU

回顾高斯消元法，我们在进行k次初等行变换之后得到的最终的矩阵是一个上三角矩阵

TODO 举一个例子

而初等行变换的过程，可以看作是左乘一个个矩阵EijE_{ij}，因为左乘是对矩阵的行向量的线性组合

  • 消元矩阵 EE 的乘积是一个下三角矩阵

    下三角矩阵的乘积还是下三角矩阵，从行向量的线性组合的性质可以推出，第i行的向量永远是0-i行的向量的组合，所以非零元素一定不会超过对角线

  • E=E32E31E21E = E_{32}E_{31}E_{21} → EA=UEA = U → A=E−1UA = E^{-1}U

  • 令 L=E−1L = E^{-1}，则 A=LUA = LU

  • LL 是下三角矩阵，UU 是上三角矩阵

8.2 LL 的优美性质

  • LL 的对角线全为 1，且乘法数 lijl_{ij} 直接填入 LL 的对应位置
  • 为什么 LL 比 EE 更好？因为不会”填充”新的非零元素

8.3 为什么需要 LULU？

  • 解 Ax=bAx = b 分两步：
    • 前代 (forward substitution)：解 Lc=bLc = b（下三角，简单）
    • 回代 (back substitution)：解 Ux=cUx = c（上三角，简单）
  • 对同一个 AA 换不同的 bb 时：只需做一次 LULU 分解，每次分别前代+回代
  • 计算效率对比：直接消元 O(n3)O(n^3) vs A−1A^{-1} 乘法 O(n2)O(n^2) → LULU 先分解再求解更优

8.4 LDULDU 分解——对角元分离 🆕

  • 把 UU 的对角元单独提取：U=DU~U = D\tilde{U}（U~\tilde{U} 对角全为 1）
  • A=LDU~=LDUA = LD\tilde{U} = LDU（习惯记作 LDULDU）
  • DD = 对角矩阵，存放主元；LL 和 UU 对角全为 1
  • 对称矩阵时：A=LDLTA = LDL^T（此时 U=DLTU = DL^T，直接得到 Cholesky 的前身）
    • 预告：当 AA 对称正定时，DD 的对角元全正 → 可以开平方根 → Cholesky A=LLTA = LL^T（Part 3）

8.5 PA=LUPA = LU —— 带行交换的 LU 🆕

  • 当消元过程中遇到主元为零，需要行交换
  • 置换矩阵 PP：P=P = 行重新排列的单位矩阵
  • PA=LUPA = LU：先交换行（让主元非零），再消元
  • 部分选主元 (partial pivoting)：每一步选当前列中绝对值最大的元素做新的主元
  • 这是实际数值计算的必要步骤（避免小主元导致精度损失）

8.6 LU 分解的存在性

  • 当所有顺序主子式 (leading principal minors) 非零 → A=LUA = LU 存在
  • 当 AA 对称正定 → A=LDLTA = LDL^T 存在，且 DD 对角全正
  • 当 AA 对称正定 → A=LLTA = LL^T (Cholesky) 存在（预告 Part 3）

9. 转置与置换矩阵 (Ch2.7)

9.1 转置

  • ATA^T 的第 ii 行 = AA 的第 ii 列
  • 性质：(AT)T=A(A^T)^T = A、(AB)T=BTAT(AB)^T = B^TA^T（注意顺序！）
  • 转置与逆的换序：(A−1)T=(AT)−1(A^{-1})^T = (A^T)^{-1}

9.2 对称矩阵

  • 定义：AT=AA^T = A（关于主对角线对称）
  • ATAA^TA 永远对称：(ATA)T=AT(AT)T=ATA(A^TA)^T = A^T(A^T)^T = A^TA
  • AATAA^T 也永远对称
  • 预告：对称矩阵 ⇒ 实特征值 + 正交特征向量（谱定理，Part 3）

9.3 置换矩阵 PP

  • PP 的每一行每一列恰好有一个 1，其余为 0
  • n×nn \times n 的置换矩阵共有 n!n! 个
  • P−1=PTP^{-1} = P^T（置换矩阵正交！）
  • PTP=IP^TP = I，所以 det⁡P=±1\det P = \pm 1

本篇总结

基础对象基础运算核心应用核心 insight
向量加法、数乘、点积线性组合AxAx = 列的线性组合
矩阵乘法（4视角）、转置表示方程组矩阵 = 线性变换
方程组高斯消元、回代求 Ax=bAx=b 的解消元 = 矩阵乘法

最重要的 takeaway：

  1. Column Picture：AxAx 是 AA 列的线性组合——用它理解一切。
  2. A=LUA = LU：消元不仅仅是算法，它本身就是一个矩阵分解定理——这是”计算即分解”思想的开端。

下一篇预告

Part 2 — 线性映射与线性空间：从运算上升到空间的视角。四大子空间将揭示 AA 的内部结构（列空间、零空间、行空间、左零空间），并通过正交性和投影自然引出最小二乘法与 QR 分解。

施工中 🚧