PCA

Finding a set of directions $(w_1,w_2,...,w_k)$ such that the variance of are maximized where $y_i \in R^k$

SVD

🔗 공돌이의 수학정리 노트

특이값 분해(SVD)가 말하는 것: 직교하는 벡터 집합에 대하여, 선형 변환 후에 그 크기는 변하지만 여전히 직교할 수 있게되는 그 직교 집합은 무엇인가? 그리고 선형 변환 후의 결과는 무엇인가?

가령 우리의 행렬 A가 3차원에서 2차원으로 차원을 낮춰주는 2×32×3행렬이라고 하자. 그렇다면 특이값분해 (SVD)가 요구하는 것을 다시 생각해본다면, 3차원 공간에서 직교하던 세 벡터를 선형변환 하여 2차원으로 변환한 뒤에도, 2차원 공간에서 두 개의 벡터가 직교할 수 있게 만들 수 있겠느냐?는 것을 묻고 있다고 할 수 있다.