线性代数 - MatNoble 博客 - 生活 · 学习 · 数学 · 算法

特征值与特征向量：几何主轴、空间临界态与系统解耦

me@matnoble.top (MatNoble) — Sun, 14 Dec 2025 10:00:00 +0800

核心速览 (TL;DR) 特征值与特征向量（Eigenvalues and Eigenvectors） 揭示了方阵线性变换在几何空间中的“不变主轴”： $\mathbf{A}\boldsymbol{x} = \lambda \boldsymbol{x}$ 。

几何直觉：高维空间中绝大多数向量在变换后会同时发生拉伸与旋转偏转，而特征向量 $\boldsymbol{x}$ 所在的直线方向在变换前后恒定不变，仅沿该轴线发生标量因子 $\lambda$ 的纯粹伸缩（ $\lambda < 0$ 时伴随反向翻转）。

解耦本质：若 $n$ 阶矩阵拥有 $n$ 个线性无关的特征向量，即可通过相似变换 $\mathbf{A} = \mathbf{P}\mathbf{\Lambda}\mathbf{P}^{-1}$ 将相互交织的高维动力系统彻底解耦为 $n$ 个相互独立的一维标量演化。

亏损临界态 (Defective Matrix)：当几何重数小于代数重数时（如纯剪切变换），特征向量无法张成全空间，矩阵不可对角化，系统退化为由 Jordan 块描述的临界动力态。

四大典型矩阵变换形态与特征谱判定表

不同类型的矩阵变换对应截然不同的几何行为与特征值谱分布。下表梳理了四大基础矩阵变换的对比特征：

线性方程组专题(3)：上帝视角——矩阵是一台“降维打击”的机器

me@matnoble.top (MatNoble) — Thu, 04 Dec 2025 00:00:00 +0800

摘要：如果说“列图像”是搭积木，“解的结构”是空间平移，那么今天我们要站在上帝视角，把矩阵看作一台精密的“空间变换机器”。这将是你理解线性代数最关键的一次思维升华。

0. 矩阵的真面目

系列回顾：专题(1) 行与列图像 | 专题(2) 解的结构

线性方程组专题(2)：解的形状——为什么“齐次”那么重要？

me@matnoble.top (MatNoble) — Tue, 02 Dec 2025 00:00:00 +0800

摘要：你是否背过“通解 = 特解 + 齐次通解”这个公式？但你真的理解它背后的几何图景吗？今天，我们深入“零空间”，揭开线性方程组解集的真实面纱。

0. 一个奇怪的公式

前情回顾:在上一期中,我们学习了如何从"列图像"的角度理解线性方程组,把 $\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$ 看作向量的线性组合问题。

线性方程组专题(1)：别再只盯着“交点”看了！

me@matnoble.top (MatNoble) — Sat, 29 Nov 2025 00:00:00 +0800

摘要：为什么 $\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$ 难住了 90%的初学者？因为你还在用高中的“几何直觉”硬套大学的“线性思维”。今天，我们拆掉思维里的墙，从“行”走到“列”，带你领略线性代数真正的威力。

0. 一个被忽视的“常识”

在数学的广袤宇宙中，几乎所有的问题最终都会汇聚成一个形式：

矩阵的列空间

me@matnoble.top (MatNoble) — Sun, 24 May 2020 00:00:00 +0800

“前菜”

将向量 $\alpha = \begin{bmatrix} 1 \\ 2 \\ 5 \end{bmatrix}^{\mathsf T}$ 扩充

MIT 2020 版线性代数 --- 前言

me@matnoble.top (MatNoble) — Sat, 23 May 2020 00:00:00 +0800

今年早些时候，Gilbert Strang 教授把经典的 18.06 线性代数更新了一些内容，准确来说是：重新阐释了其中一些重要内容，是对之前课程的补充。

18.06 线性代数

第一版发布于 2002 年，至今有超过 1000 万的浏览量，应该属于最受欢迎的线性代数公开课之一。在 B 站上可以观看

向量范数与矩阵范数深度解析：几何意义、常用计算及奇异值关联 | 线代拾遗

me@matnoble.top (MatNoble) — Thu, 19 Mar 2020 00:13:23 +0800

向量范数

范数(模)(英语：norm), 是具有「长度」概念的函数. 在线性代数、泛函分析及相关的数学领域, 是一个函数, 其为..向量空间..内的所有向量赋予非零的正长度或大小.

奇异值分解 (SVD) 手算实战指南：深入理解矩阵“奇异度” | 线代拾遗

me@matnoble.top (MatNoble) — Mon, 16 Mar 2020 00:14:37 +0800

SVD

核心速览 (TL;DR) 奇异值分解（Singular Value Decomposition, SVD） 是线性代数中将任意 $m \times n$ 实矩阵分解为三个特殊矩阵乘积的正交对角化方法： $\boldsymbol{A} = \boldsymbol{U}\boldsymbol{\Sigma}\boldsymbol{V}^\mathsf{T}$ 。

各矩阵角色： $\boldsymbol{U} \in \mathbb{R}^{m \times m}$ 为左奇异矩阵（正交阵，列向量为 $\boldsymbol{A}\boldsymbol{A}^\mathsf{T}$ 的特征向量）， $\boldsymbol{\Sigma} \in \mathbb{R}^{m \times n}$ 为奇异值矩阵（对角线上非负奇异值 $\sigma_i = \sqrt{\lambda_i}$ 降序排列）， $\boldsymbol{V} \in \mathbb{R}^{n \times n}$ 为右奇异矩阵（正交阵，列向量为 $\boldsymbol{A}^\mathsf{T}\boldsymbol{A}$ 的特征向量）。

几何本质：任何实矩阵映射均可分解为三步几何动作：定义域旋转/反射 $\boldsymbol{V}^\mathsf{T} \to$ 沿坐标轴缩放 $\boldsymbol{\Sigma} \to$ 值域旋转/反射 $\boldsymbol{U}$ 。

核心应用：主成分分析 (PCA)、图像低秩压缩、伪逆（Moore-Penrose）求解及推荐系统协同过滤。

SVD 与特征值分解 (EVD) 的本质区别是什么？

很多人初学时容易混淆奇异值分解与特征值分解。下表清晰梳理两者的关键区别：

SVD 于解线性方程组之应用

me@matnoble.top (MatNoble) — Tue, 03 Mar 2020 06:21:00 +0800

释题

奇异值分解(Singular Value Decomposition, 简称:SVD)实际上是一种矩阵分解, 记得数值分析老师说过:

奇异值分解再探

me@matnoble.top (MatNoble) — Tue, 25 Feb 2020 00:19:44 +0800

奇异值分解是现代线性代数的核心？

奇异值分解初探

me@matnoble.top (MatNoble) — Mon, 24 Feb 2020 00:13:44 +0800

知识回顾

在矩阵的四个基本空间, 不了解下吗? 中, 介绍了实矩阵的四个基本空间的正交关系

正交矩阵之旋转与镜射

me@matnoble.top (MatNoble) — Mon, 10 Feb 2020 00:00:00 +0800

旋转矩阵与镜射矩阵

Gram 矩阵详解：定义、构造及其 6 大核心性质 | 线代拾遗

me@matnoble.top (MatNoble) — Wed, 05 Feb 2020 00:00:00 +0800

Gram 矩阵

假设 $A$ 是一个 $m\times n$ 阶矩阵,

列向量 Gram 矩阵
$A$ 由列向量 $\mathbf{\alpha}_i$ 表示, 即 $A=\begin{bmatrix}\mathbf{\alpha}_1 & \mathbf{\alpha}_2 &\cdots & \mathbf{\alpha}_n \end{bmatrix}$ 则

\begin{aligned} G &= \\, A^{\mathsf T}A \\\\[3pt] &= \begin{bmatrix} \mathbf{\alpha}_1^{\mathsf T} \\\\ \mathbf{\alpha}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\alpha}_n^{\mathsf T} \end{bmatrix} \begin{bmatrix} \mathbf{\alpha}_1 & \mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_n \end{bmatrix} \\\\[3pt] & = \begin{bmatrix} \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_1^{\mathsf T}\mathbf{\alpha}_n \\\\ \mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_2 & \cdots &\mathbf{\alpha}_2^{\mathsf T}\mathbf{\alpha}_n \\\\ \vdots & \vdots & & \vdots \\\\ \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_1 & \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_2 & \cdots & \mathbf{\alpha}_n^{\mathsf T}\mathbf{\alpha}_n \end{bmatrix} \end{aligned}

行向量 Gram 矩阵
$A$ 由行向量 $\mathbf{\beta}_i^{\mathsf T}$ 表示, 即 $A=\begin{bmatrix}\mathbf{\beta}_1^{\mathsf T} \\\\ \mathbf{\beta}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\beta}_m^{\mathsf T} \end{bmatrix}$ 则

\begin{aligned} G &= \\, AA^{\mathsf T} \\\\[3pt] &= \begin{bmatrix}\mathbf{\beta}_1^{\mathsf T} \\\\ \mathbf{\beta}_2^{\mathsf T} \\\\ \vdots \\\\ \mathbf{\beta}_m^{\mathsf T} \end{bmatrix} \begin{bmatrix} \mathbf{\beta}_1 & \mathbf{\beta}_2 & \cdots & \mathbf{\beta}_m \end{bmatrix} \\\\[3pt] & = \begin{bmatrix} \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_2 & \cdots & \mathbf{\beta}_1^{\mathsf T}\mathbf{\beta}_m \\\\ \mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_2 & \cdots &\mathbf{\beta}_2^{\mathsf T}\mathbf{\beta}_m \\\\ \vdots & \vdots & & \vdots \\\\ \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_1 & \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_2 & \cdots & \mathbf{\beta}_m^{\mathsf T}\mathbf{\beta}_m \end{bmatrix} \end{aligned}

6 大性质

下面只考虑列向量 Gram 矩阵

矩阵的四个基本空间的基底

me@matnoble.top (MatNoble) — Fri, 24 Jan 2020 00:00:00 +0800

之前介绍过矩阵有四个基本空间

并且有两组正交关系

有了空间，若想继续研究，就需要找一些 ..代表.. ，即 ..基底..

普通基底

本小节用到的技术手段很简单－－ ..初等行变换..

最小二乘法 (Least Squares) 深度几何解析：从投影矩阵到正规方程 | 线代拾遗

me@matnoble.top (MatNoble) — Sun, 19 Jan 2020 06:21:00 +0800

在简述有限元系列等工程应用中，我们经常遇到“方程多于未知数”的超定方程组。此时，最小二乘法（Least Squares）不仅是一种数据拟合的计算技巧，更展示了线性代数中四个基本子空间之间优美的几何关系。

矩阵的四个基本空间, 不了解下吗?

me@matnoble.top (MatNoble) — Sat, 18 Jan 2020 06:21:00 +0800

秩-零化度定理告诉我们: $m\times n$ 阶矩阵 $A$ 的零空间(Nullspace) $N(A)$ 和列空间(Column sapce) $C(A)$ 的关系:

n = \dim N(A) + \dim C(A)

本次依据秩-零化度定理, 介绍四个基本空间, 并证明它们的正交性关系, 最后, 给出一道经典例题.

四个基本空间

将矩阵 $A$ 行列互换, 称为 $A$ 的转置, 记为 $A^{\mathsf T}$ . 则对应的: $C(A^{\mathsf T})$ 表示 $A$ 的行空间(Row space), 对应地将 $N(A^{\mathsf T})$ 称为 $A$ 的左零空间(Left nullspace).

秩-零化度定理(Rank-Nullity Theorem)

me@matnoble.top (MatNoble) — Sat, 11 Jan 2020 00:00:00 +0800

在人工智能, 机器学习, 深度学习的浪潮中, ..数学.. 知识的发展与应用起着至关重要的作用.

线性代数(高等代数)不同于微积分(数学分析), 线代是不断前进发展的学科, 在实际应用中产生新问题回馈到教学中, 而后教学又可以促进实际应用.

「秩-零化度定理」

如下图所示, 线性变换 $T$ 从有限维向量空间 $\mathcal{V}$ (定义域)映射到有限维向量空间 $\mathcal{W}$ (陪域)，记为 $T:\mathcal{V}\to\mathcal{W}$

矩阵对角化深度解析：条件、性质及其在斐波那契数列中的应用 | 线代拾遗

me@matnoble.top (MatNoble) — Wed, 01 Jan 2020 00:00:00 +0800

所有矩阵都可以对角化吗?

前几天某好友同学, 参加了某度算法岗的面试, 问了很多问题, 其中就有这么一个基础数学的问题: ..所有矩阵都可以对角化吗?..