Shrinkage method
-
#Shrinkage method #Ridge #L2Data miner 2019. 6. 15. 01:25
Ridge는 다음과 같은 문제의식에서 출발할 수 있다. Q. n(우리가 가지고 있는 훈련 데이터 세트의 개수) < p(선형회귀에서 추정해야 하는 계수의 개수)문제에서 추정된 beta값의 변동성을 최소화 시키기 위해서는 어떻게 해야 할까? (n의 개수가 p의 개수보다 3배 이상 크지 않은 경우에도 해당한다.) 이에 대해서 중요하지 않은 변수들의 영향력을 최소화시켜, 즉, 중요하지 않은 변수들의 회귀 계수를 0에 가깝도록 변형시켜서 p의 개수를 상대적으로 줄이는 방법이 있다. 여기서 염두해야 할 점은, 회귀 계수를 0에 가깝도록 만드는 것이지 0으로 만든다는 의미는 아니라는 점을 기억해두자! Ridge 방법은 OLS 가 RSS(잔차 제곱합)을 최소화시키는 beta를 추정하는 식에다가 penalty term을..