Mid9ts
大学生
Mid9ts的博客

[LA]-SVD

定义

奇异值分解本质上是一个空间中两组规范正交基的联系

设$T \in \mathcal{L}(V)$有奇异值$s_1,s_2,\cdots,s_n$,则$V$有两个规范正交基$\{e_1,\cdots,e_n\},\{f_1,\cdots,f_n\}$使得对每个$v\in V$均有$Tv=s_1\langle v,e_1 \rangle f_1+\cdots +s_n\langle v,e_n \rangle f_n$.

写成矩阵的形式即

$$ Tv= \begin{bmatrix} f_1&\cdots&f_n \end{bmatrix} \begin{bmatrix} s_1&&0 \\ &\ddots& \\ 0&&s_n \end{bmatrix} \begin{bmatrix} \langle v,e_1 \rangle \\ \vdots \\ \langle v,e_2 \rangle \end{bmatrix} $$

即:

$$ T \begin{bmatrix} e_1&\cdots&e_n \end{bmatrix} = \begin{bmatrix} f_1&\cdots&f_n \end{bmatrix} \begin{bmatrix} s_1&&0 \\ &\ddots& \\ 0&&s_n \end{bmatrix} $$ $$ T = \begin{bmatrix} f_1&\cdots&f_n \end{bmatrix} \begin{bmatrix} s_1&&0 \\ &\ddots& \\ 0&&s_n \end{bmatrix} \begin{bmatrix} e_1^T\\ \vdots\\ e_n^T \end{bmatrix} $$

设$A$是秩为$r$的$n \times m$的矩阵,则存在一个$n \times m$的矩阵$\Sigma$,其对角线的前$m$个元素是$A$的$m$个奇异值,(这里奇异值被排序了),并且存在一个$n \times n$的矩阵$U$和一个$m \times m$的矩阵$V$使得$A=U \Sigma V^T$.

$$ A = \begin{bmatrix} u_1&\cdots&u_n \end{bmatrix} \begin{bmatrix} D&0\\ 0&0 \end{bmatrix} \begin{bmatrix} v_1^T\\ \vdots\\ v_m^T \end{bmatrix} $$

注意到这是定义在$A \in \mathcal{L}(V,W)$上的奇异值分解。首先我们证明算子的。

证明

由于正算子有且只有一个正的平方根,所以$\sqrt{T^*T}$是正的,对其应用谱定理得到$V$的一个规范正交基$e_1,\cdots,e_n$并且$\sqrt{T^*T}e_j=s_j e_j$

$$ \begin{align*} v&=\langle v,e_1 \rangle e_1 +\cdots+\langle v,e_n \rangle e_n \\ \sqrt{T^*T}v&=s_1 \langle v,e_1 \rangle e_1 +\cdots+s_n \langle v,e_n \rangle e_n \end{align*} $$

利用极分解,存在一个等距同构$S$使得

$$ \begin{align*} S\sqrt{T^*T}v&=S(s_1 \langle v,e_1 \rangle e_1 +\cdots+s_n \langle v,e_n \rangle e_n) \\ Tv&=s_1 \langle v,e_1 \rangle Se_1 +\cdots+s_n \langle v,e_n \rangle Se_n \\ Tv&=s_1 \langle v,e_1 \rangle f_1 +\cdots+s_n \langle v,e_n \rangle f_n \end{align*} $$

第二种情况,对于$A \in \mathcal{L}(V,W)$,其中$\text{dim}(V)=m,\text{dim}(W)=n$;$A^*A\in \mathcal{L}(V)$,得以得到$M(A)$是一个$n \times m$的矩阵。注意到$(A^*A)^*=A^*A,\langle A^*Av,v\rangle=\langle Av,Av \rangle \geq 0$,所以$\sqrt{A^*A}$是正的。按照上面的方法,谱定理得到$V$的一组规范正交基$v_1,\cdots,v_m$并且$\sqrt{A^*A}v_i=s_iv_i$.

$Av_i\in W,(1 \leq i \leq m)$因为$Av_i\in\text{range}A$;现证明$Av_i$是正交的:

$$ \begin{align*} \langle Av_i,Av_j \rangle&=\langle A^*Av_i,v_j \rangle \\ &=\lambda _i\langle v_i,v_j \rangle =0 \end{align*} $$

故$Av_1,\cdots,Av_m$是$W$的一组线性无关组,于是将其扩充为$W$的一组基;同时有$||Av_i||=\sqrt{\langle Av_i,Av_i \rangle}=s_i$,由此可以得到$W$的一组规范正交基$\frac{Av_1}{s_1},\cdots,\frac{Av_m}{s_m},a_1,\cdots,a_k$。

$$ A \begin{bmatrix} v_1&\cdots&v_m \end{bmatrix} = \begin{bmatrix} \frac{Av_1}{s_1}&\cdots&\frac{Av_m}{s_m}&a_1&\cdots&a_k \end{bmatrix} \begin{bmatrix} s_1&&0\\ &\ddots&\\ &&s_m\\ 0&\cdots&0 \end{bmatrix} $$

令$[v_1 \quad \cdots \quad v_m]=V$,$\left[\frac{Av_1}{s_1} \quad \cdots \quad \frac{Av_m}{s_m} \quad a_1 \quad \cdots \quad a_k\right]=[u_1 \quad \cdots \quad u_n]=U$,显然$V$是一个正交矩阵,可得$A=U\Sigma V^T$.

知乎

推荐文章

发表评论

textsms
account_circle
email

Mid9ts的博客

[LA]-SVD
定义 奇异值分解本质上是一个空间中两组规范正交基的联系。 设$T \in \mathcal{L}(V)$有奇异值$s_1,s_2,\cdots,s_n$,则$V$有两个规范正交基$\{e_1,\cdots,e_n\},\{f_1,\cdots,f_n…
扫描二维码继续阅读
2022-02-14