간단 선형대수 용어 정리

차원의 저주 (The curse of dimensionality)

- 데이터 학습을 위해 차원이 증가하면서 상대적으로 데이터가 Sparse해지고 모델의 성능이 떨어지는 현상

 

차원 축소 (Dimensional Reduction)

- 고차원 데이터를 저차원 데이터로 변환하는 방법
- Feature Selection (특성 선택): 통계적인 방법을 이용해 feature들의 중요도에 순위를 정해서결정하는 방법 (ex. 상관분석, 전/후진선택 등)
- Feature Extraction (특성 추출): 기존 Feature들을 이용하여 유용한 Feature를 새롭게 생성하는 방법 (ex. PCA, LDA)

 

PCA와 LDA

- PCA(Principal Component Analysis, 주성분 분석) : 변수 간 상관관계를 이용해 주성분을 추출해 차원을 축소하는 기법. 가장 큰 분산을 가지는 축을 기반으로 차원을 축소
- LDA(Linear Discriminant Analysis, 선형판별분석) : 클래스 간 분산을 최대화하고 클래스 내부 분산을 최소화하는 고유값과 고유벡터를 찾아 선형변환하는 방법