[베이지안 통계] 2. 베이즈 규칙을 파라미터와 데이터에 적용하기

베이즈 규칙은 어떤 사건에 대한 단순히 신뢰율을 사전 할당하는 것과 데이터에 기반해, 사건에 대한 신뢰율을 사후 할당하는 것과의 관계다. 이를 식으로 나타내면 다음과 같다. 

먼저, 위 식을 바라볼 때, D가 변수가 아니라 파라미터 θ를 변수라고 생각해야 한다는 점을 염두하자.

사전 확률, prior ,p(θ) 은 관측된 데이터에 대한 값에 대한 관계 없이 파라미터 값이 가지는 신뢰율이다. 어떤 사람이 비만인지 아닌지에 대한 확률값을 구하고자 할 때, 어떤 사람에 대한 정보값(데이터)를 제외하고 비만일지 아닐지에 대한 믿음이 p(θ)를 결정한다.  사후 확률, posterior, p(θ|D)은 데이터를 고려한 상태에서 파라미터 값이 가지는 신뢰율이다. 어떤 사람에 대한 다양한 관측 데이터값, 키, 몸무게, 지방의 퍼짐 정도 ... 등의 정보를 고려한 상태에서 그 사람이 비만인지 아닌지를 판단하는 확률이다. 가능도, 우도, likelihood, P(D|θ)의 경우 특정 파라미터의 값이 관측된 데이터를 만들 확률이다. 데이터의 특성에 따라 가능도 함수의 분포 특성이 정해진다(어떤  θ의 가능성이 가장 높은가?). 증거, P(D)는 모형에 대한 데이터의 전체 확률이다. 이 값은 파라미터값의 확신의 세기로 가중된 모든 가능한 파라미터값을 따라 평균을 취해 결정한다. p(D)는 '내가' 가지고 있는 데이터값에 기반하므로, 주관적인 특성을 가진다.

베이지안 추론이 어려운 이유 중에 하나가, 위 그림에서 θ의 모든 가능한 값들에 대해서 데이터가 관측될 확률을 구하는 부분을 모두 더하는데 있다.  θ가 이산 변수라면 위의 표기한 대로 시그마로 표현할 수 있지만,  θ가 연속 변수라면 적분형태로 표현해야 한다. 하지만, 이 연속일 경우에 적분 계산을 구하기가 현실적으로 불가능하다. 이에, 가능도 함수와 가장 잘 어울리는 켤레 사전분포(conjugate)를 활용하는 방법과 상대적으로 가능도 함수가 단순한 모형 한정하여 베이지안 추론을 사용한다고 한다. 

출처 ;
John K. Kruschke, <<Doing Bayesian Data Analysis, 2nd Edition>>
연세대학교 김철응 교수님 <베이지안 통계> 강의 내용