#Singular Value Decomposition #특이값분해(3)

(AA')와 (A'A)가 대칭행렬이라고 언급하며 특이값분해(2)의 포스팅을 마무리하였다. 이 포스팅에서는 대칭행렬의 특징을 다루고자 한다. 

A'A(A'는 A의 transpose한 행렬이라고 생각하자)가 SVD에서 나온 이유는, SVD를 eigendecomposition으로 풀기 위함이었다. 

일반적으로 (n*n)크기의 B라는 정사각행렬은 linearly independent한 eigenvector가 존재할 때만 대각화가 가능하다. 

하지만, 신기하게도 Symmetric Matrix에 대해서, 그러니까 대각선을 중심으로 접었을 때 데칼코마니처럼 값이 같은 경우의 Matrx의 경우에는 항상 대각화가 가능하다(Always diagonalizable). 대각화가 가능하므로, Eigendecomposition이 무조건 존재한다. 더 나아가서 Symmetric Matrix의 경우, 각각의 Eigenvector들끼리 항상 수직이다. 

=> 이러한 특성을 "Spectral Theorem" of Symmetric Metrics라고 한다. 

우리는 B(n*n)의 아이젠벨류 λ를 구할 때, 특성방정식 det(B- λI) = 0 을 통하여 구하였다.  Symeetric Metric에 경우, λ값은 허근이 나오지 않는다(실근인 경우 중근도 허용). 왜냐하면, λ가 허근이라면, n개의 linearly independent한 eigenvector를 뽑기가 어렵기 때문이다. * λ가 중근일 경우, 그 중근으로 부터 구해지는 eigenspace는 중근의 개수이고 이로부터 나오는 basis eigenvector는 중근의 차원 수 만큼 나온다는 점! eigenspace에서 basis eigenvector을 orthonomal하게 만들 수 있다. 보통, 일반적으로 eigenvector들끼리 orthogonal하지 않으나, Symmatric matrix의 eigenvector들은 수직이다. 

The exaple of Symmetric matrix

 

다음으로, A'A를 SVD하였을 때, Σ^(2)의 대각성분요소들이 모두 양수라고 하였다. 이를 Positive Definite Matrices라고 부른다. 

....SVD를 정리하자면,

직사각행렬 A에 대해서, SVD는 언제나 존재한다. (이는 Eigendecomposition과는 다른 성질이다)

따라서 정사각행렬에서도 SVD는 존재한다. 

(n*n크기의) 정사각행렬 X이 symmetric matrix이고 positive definite matrix라면 SVD가 될 뿐만이 아니라

Eigendecomposition도 존재한다. (Eigendecomposition의 결과물과 SVD의 결과물이 동일해진다.)

X = UDU^(-1), X = UDU'(U' = U의 transpose)