#Singular Value Decomposition #특이값분해(1)

Eigendecomposition과의 차이점은, 분해(decomposition) 대상인 A matrix의 형태가 직사각행렬(m*n, m>n)이라는 점이다. 

출처; https://hadrienj.github.io/posts/Deep-Learning-Book-Series-2.8-Singular-Value-Decomposition/

A = UΣV' 의 식을 만족하는 U와 V'를 뽑아내는 과정이라고 볼 수 있으며, 여기에서 U와 V'(첨자 transpose로 표현)는

각 행렬의 열벡터가 orthnormal하다. 즉, 열 벡터의 길이가 1이며, 각기 다른 열벡터들은 서로 직교하는 성질을 만족한다.  

Σ의 경우, 대각 성분을 제외하고는 다른 성분들은 다 0의 값을 가진다. 

출처; 출처; https://hadrienj.github.io/posts/Deep-Learning-Book-Series-2.8-Singular-Value-Decomposition/

SVD의 기본형태에서는 U가 m*m의 크기를, V가 n*n의 크기를, Σ가 m*n의 크기를 가지나, Σ가 대각행렬이기 때문에 아래의 줄어든 형태(Reduced form of SVD)로 보아도 무방하다. 

출처; https://informatics.indiana.edu/rocha/publications/WallSVD2003.html

 

특히, 위의 식을 만족하는 U와 V는 유일한 것이 아니라 여러 개가 있을 수 있다. 특히, 우리는 U와 V의 관계를 통해서 SVD로 찾아질 수 있는 U,V 중에서 다음의 성질을 만족하는 U,V에 집중한다. 이 성질은 SVD의 오른편의 i번째 컬럼벡터를 A를 통해 선형변환하였을 때, SVD의 왼편의 i번째의 컬럼벡터의 상수배만큼의 벡터가 된다는 점이다.

 

위의 성질을 만족하는, U,V에 대해서는 특히 AV = UΣ가 만족하며, V의 역행렬이 V'(transpose)이라는 특이한 성질도 만족한다. 그리고 여기서 다시 한 번 반복강조하지만, U,V의 컬럼들은 서로 orthonomal하다는 점!

 

1편 끝.