任意矩阵的Moore-Penrose伪逆
任意矩阵的Moore-Penrose伪逆
利用奇异值分解推导这个线性逆问题解的表达式。对于任意A∈Rm×n\boldsymbol{A} \in \mathbb{R}^{m \times n}A∈Rm×n，奇异值分解定义为
A=UΣV⊤ \boldsymbol{A} = \boldsymbol{U}\boldsymbol{\varSigma}\boldsymbol{V}^{\top}A=UΣV⊤
将上式展开：
A=UΣV⊤=[u1u2⋯ud][σ1σ2⋱σd][v1⊤v2⊤⋮vd⊤]=σ1u1v1⊤+σ2u2v2⊤+⋯+σdudvd⊤=∑i=1dσiuivi⊤ \begin{aligned} \boldsymbol {A} &= \boldsymbol {U} \boldsymbol {\varSigma} \boldsymbol {V}^{\top} = \begin{bmatrix} \boldsymbol{u}_1 & \boldsymbol{u}_2 & \cdots & \boldsymbol{u}_d \end{bmatrix} \begin{bmatrix} \sigma_1 & & & \\ & \sigma_2 & & \\ & & \ddots & \\ & & & \sigma_d \end{bmatrix} \begin{bmatrix} \boldsymbol{v}_1^{\top} \\ \boldsymbol{v}_2^{\top} \\ \vdots \\ \boldsymbol{v}_d^{\top} \end{bmatrix}\\ &= \sigma_1 \boldsymbol{u}_1 \boldsymbol{v}_1^{\top} + \sigma_2 \boldsymbol{u}_2 \boldsymbol{v}_2^{\top} + \cdots + \sigma_d \boldsymbol{u}_d \boldsymbol{v}_d^{\top} =\sum_{i=1}^{d} \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^{\top} \end{aligned}A=UΣV⊤=[u1u2⋯ud]σ1σ2⋱σd