奇异值分解

    设$A$是$m\times n$矩阵，$Rank(A)=r$，总可以找到一个$n$级酉矩阵$U$和一个$m$级酉矩阵$V$以及对角阵

$$s_0=\left[ \begin{array}{*{20}{c}} s_1&{}&0\\ {}& \ddots &{}\\ 0&{}&s_r \end{array} \right] , s_1 \geq \cdots \geq s_r >0$$

使得表达式

$$A=V \left[ \begin{array}{*{20}{c}} s_0&0\\ 0&0 \end{array} \right] U$$

成立。

极式分解

    令$A$是向量空间$V$上的矩阵，则存在酉矩阵$U$和半正定$Hermite$矩阵$J,K$使得

$$A=UJ=KU$$

其中$J$和$K$是唯一满足这些方程的半正定$Hermite$矩阵，如果$A$可逆，则$U$是唯一的。

    极式分解涉及到正定和半正定的$Hermite$矩阵，详细证明见丘维声高等代数学习指导书下册的683页的例子76，非常经典。

奇异值分解的证明

    这个的证明思想其实并不复杂，其实有两种证明方法，一是直接利用极式分解的结论，二是直接从矩阵的角度分析，为了表述更加简洁，这里仅证明矩阵$A$是方阵时的情形，非方阵时证明方法是类似的。

利用极式分解的证明思路

    首先$n\times n$矩阵可分解为$A=UJ$，其中$U$为$n\times n$酉矩阵，$J$为$n\times n$半正定$Hermite$矩阵，则$J$一定可以酉对角化，即存在$n\times n$酉矩阵$P$使得$J=P^{-1}SP$，其中

$$S=\left[ \begin{array}{*{20}{c}} s_1&{}&0\\ {}& \ddots &{}\\ 0&{}&s_n \end{array} \right] , s_1 \geq \cdots \geq s_n \geq 0$$

则有

$$A=UP^{-1}SP$$

显然$UP^{-1}$仍为酉矩阵，奇异值分解得证。

矩阵角度的证明思路(下面的证明均考虑坐标，不涉及元素)

    首先$A$为$n\times n$的矩阵，则$A^*A$为$n\times n$的半正定$Hermite$阵，则有标准正交基$v_1,\ldots,v_n$使得

$$A^*A\left[ v_1\cdots v_n \right] =\left[ v_1\cdots v_n \right] \left[ \begin{matrix} \lambda _1& & \\ & \ddots& \\ & & \lambda _n\\ \end{matrix} \right]$$

其中$\lambda _1,\ldots,\lambda _n$均为非负实数，且$\lambda _1\geqslant \lambda _2\geqslant \cdots \geqslant \lambda _n\geqslant 0$，则有

$$\left[ \begin{matrix} \lambda _1& & \\ & \ddots& \\ & & \lambda _n\\ \end{matrix} \right] =\left[ \begin{array}{c} v_{1}^{*}\\ \vdots\\ v_{n}^{*}\\ \end{array} \right] A^*A\left[ \begin{matrix} v_1& \cdots& v_n\\ \end{matrix} \right]$$

则$\forall 1\leq i\neq j\leq n$有$(Av_i,Av_j)=v_j^*A^*Av_i=0$，$\forall 1\leq i\leq n$，有$(Av_i,Av_i)=v_i^*A^*Av_i=\lambda_i$

    下面设$\lambda _1,\ldots,\lambda _k$不为0，$\lambda _{k+1},\ldots,\lambda _n$为0，则显然$Av_1,\ldots,Av_k$相互正交，且$Av_1,\ldots,Av_k$的长度为$\sqrt{\lambda_1},\ldots,\sqrt{\lambda_k}$，对于$i=k+1,\ldots,n$有

$$A^*Av_i=0$$ $$v_i^*A^*Av_i=0$$ $$(Av_i,Av_i)=0$$

则有$Av_i=0$且必然存在单位向量$\alpha_{k+1}\ldots\alpha_n$使得$\frac{1}{\sqrt{\lambda_1}}Av_1\ldots\frac{1}{\sqrt{\lambda_k}}Av_k,\alpha_{k+1}\ldots\alpha_n$为一组标准正交基，则有

$$A\left[ \begin{matrix} v_1& \cdots& v_n\\ \end{matrix} \right] =\left[ \frac{1}{\sqrt{\lambda _1}}Av_1...\frac{1}{\sqrt{\lambda _k}}Av_k,\alpha _{k+1}...\alpha _n \right] \left[ \begin{matrix} \sqrt{\lambda _1}& & & & & \\ & \ddots& & & & \\ & & \sqrt{\lambda _k}& & & \\ & & & 0& & \\ & & & & \ddots& \\ & & & & & 0\\ \end{matrix} \right]$$

记$P=[v_1\ldots v_n]$，$Q=[\frac{1}{\sqrt{\lambda_1}}Av_1\ldots\frac{1}{\sqrt{\lambda_k}}Av_k,\alpha_{k+1}\ldots\alpha_n ]$，则显然$P,Q$为酉矩阵且

$$A=Q\left[ \begin{matrix} \sqrt{\lambda _1}& & & & & \\ & \ddots& & & & \\ & & \sqrt{\lambda _k}& & & \\ & & & 0& & \\ & & & & \ddots& \\ & & & & & 0\\ \end{matrix} \right]P^{-1}$$

则奇异值分解得证，$\sqrt{\lambda _1}\ldots\sqrt{\lambda _k}$和0为奇异值。

矩阵奇异值和矩阵特征值之间的联系

    矩阵的特征值可能为复数也可能为实数，但奇异值一定为非负实数，这里先直接给出矩阵奇异值和矩阵特征值之间的联系：奇异值的上界是特征值模长的一个上界，奇异值的下界是特征值模长的一个下界。
    证明过程也非常简单，首先定义向量$\alpha$的长度$||\alpha||=\sqrt{(\alpha,\alpha)}$，显然酉矩阵保持长度不变，即若$U$为酉矩阵，则$||\alpha||=||U\alpha||$，设方阵$A$的奇异值分解为

$$A=USV=U\left[ \begin{matrix} s_1& & \\ & \ddots& \\ & & s_n\\ \end{matrix} \right] V$$

显然$s_1\ldots s_n$为矩阵$A$的奇异值，$U,V$为酉矩阵。

    下设$V\alpha=(b_1\ldots b_n)^T$，则有

$$\begin{aligned} ||A\alpha||&=||USV\alpha||=\sqrt{(USV\alpha,USV\alpha)}=\sqrt{\alpha^*V^*S^*U^*USV\alpha} \\ &=\sqrt{\alpha^*V^*S^*SV\alpha}=\sqrt{s_1^2\bar{b_1}b_1+s_2^2\bar{b_2}b_2+\cdots+s_n^2\bar{b_n}b_n} \end{aligned}$$

设$s_1\leq s_2\leq \cdots \leq s_n$，则有

$$||A\alpha||\geq \sqrt{s_1^2(\bar{b_1}b_1+\bar{b_2}b_2+\cdots+\bar{b_n}b_n)}=s_1\sqrt{(V\alpha,V\alpha)}=s_1\sqrt{(\alpha,\alpha)}=s_1||\alpha||$$ $$||A\alpha||\leq \sqrt{s_n^2(\bar{b_1}b_1+\bar{b_2}b_2+\cdots+\bar{b_n}b_n)}=s_n\sqrt{(V\alpha,V\alpha)}=s_n\sqrt{(\alpha,\alpha)}=s_n||\alpha||$$

即

$$s_1||\alpha||\leq ||A\alpha||\leq s_n||\alpha||$$ $$s_1\leq \frac{||A\alpha||}{||\alpha||}\leq s_n$$

    设$\alpha_i$是矩阵$A$特征值$\lambda_i$的特征向量，则有

$$\frac{||A\alpha_i||}{||\alpha_i||}=\frac{||\lambda_i\alpha||}{||\alpha||}=\frac{\sqrt{(\lambda_i\alpha_i,\lambda_i\alpha_i)}}{\sqrt{(\alpha_i,\alpha_i)}}=\frac{\sqrt{|\lambda_i|^2(\alpha_i,\alpha_i)}}{\sqrt{(\alpha_i,\alpha_i)}}=|\lambda_i|$$

则显然

$$s_1\leq |\lambda_i|\leq s_n$$

原命题得证，奇异值的上界是特征值模长的一个上界，奇异值的下界是特征值模长的一个下界。