베이지안 학습 [개념, 장단점, 예시]

 

 현대 사회에서 데이터의 중요성은 나날이 증가하고 있으며, 데이터 기반 의사 결정은 거의 모든 산업에서 필수적인 요소다. 사실상 수많은 기업에서 자체 ai를 개발하고 활용하고 있으며 이는 미래로 나아가기 위해서는 필수적이다, 이러한 데이터 분석과 예측의 중심에는 다양한 통계적 학습 방법이 있는데, 그중 하나가 바로 베이지안 학습이다. 베이지안 학습은 데이터를 통해 지식을 갱신하고 불확실성을 다루는 데 강력한 도구로서, 기계 학습, 의료, 금융 등 여러 분야에서 활용 되고 있다.

베이지안 학습의 개념

 

 

 베이지안 학습은 영국의 수학자 토마스 베이즈(Thomas Bayes)가 제안한 베이즈 정리(Bayes' Theorem)를 기초로 한다.  우리는 일반적으로 어떤 사건이 발생할 확률에 대해 일정한 사전 확률을 가지고 있다는 전제를 기반으로 한다. 이러한 새로운 데이터가 주어졌을 때, 이 증거를 고려하여 우리는 데이터를 갱신한다. 이 갱신된 데이터가이 바로 사후 확률(Posterior Probability)이다.

 

• P(θ∣D: 데이터 D가 주어졌을 때, 가설 θ의 사후 확률
• P(D∣θ): 가설 θ가 참일 때, 데이터 D가 관찰될 가능성
• P(θ): 가설 θ에 대한 사전 확률.
• P(D): 데이터 D가 관찰될 전체 확률(정규화 상수).

실제 사례

1) 질병 진단

 

 의사가 특정 질병에 대한 진단을 내릴 때 활용 하는 방식이다. 예를 들어, 의사가 환자가 특정 질병(예를 들어, 폐암)에 걸렸는지 진단하고자 한다고 가정한다면, 의사는 환자의 흡연 여부와 같은 사전 정보를 가지고 있을 수 있으며, 흉부 X-ray와 같은 새로운 진단 결과를 얻을 수 있다.

1. 사전 확률(Prior Probability): 의사는 일반 인구에서 폐암이 발생할 확률을 알고 있습니다. 또한, 환자가 흡연자라면 폐암에 걸릴 확률이 더 높다는 사전 확률도 가지고 있다.
2. 가능도 함수(Likelihood): 흉부 X-ray 결과가 나왔을 때, 이 결과가 폐암을 나타낼 가능성도 계산할 수 있다. 예를 들어, X-ray에서 이상이 발견될 확률이 폐암 환자에게서 80%라는 사전정보를 가지고 있고 이에 대한 판단에 도움을 받을 수 있다.
3. 사후 확률(Posterior Probability): 이제 의사는 베이즈 정리를 사용하여 환자가 폐암에 걸렸을 확률을 갱신할 수 있다. 새로운 X-ray 결과를 바탕으로, 의사는 환자가 폐암에 걸렸을 확률을 더 정확하게 추정할 수 있다.

 단순히 새로운 데이터만으로 진단을 내리는 것이 아니라, 기존의 사전 지식과 새롭게 얻은 데이터를 결합하여 보다 신뢰할 수 있는 진단을 할 수 있게 된다.

2. 기계 학습 모델의 개선

또 다른 예시로, 기계 학습에서 베이지안 학습을 사용하는 경우를 살펴보자, 예를 들어, 스팸 메일 필터링 시스템을 구축한다고 가정해 본다면.

1. 사전 확률(Prior Probability): 과거의 데이터를 기반으로 이메일이 스팸일 확률과 스팸이 아닐 확률을 설정할 수 있다. 예를 들어, 전체 이메일의 20%가 스팸이라고 할 수 있다.
2. 가능도 함수(Likelihood): 이메일의 특정 단어가 스팸 메일에 등장할 가능성을 계산할 수 있다. 예를 들어, '무료'라는 단어가 포함된 이메일이 스팸일 확률은 매우 높다.
3. 사후 확률(Posterior Probability): 베이즈 정리를 통해, 이메일에 특정 단어가 포함되었을 때 그 이메일이 스팸일 확률을 계산할 수 있다. 이를 반복적으로 적용하여 스팸 메일 필터의 성능을 점차 개선할 수 있다.

베이지안 학습의 장점과 한계

 

베이지안 학습은 다음과 같은 여러 장점을 가지고 있다.

1. 불확실성 관리: 베이지안 학습은 데이터가 불충분하거나 불확실할 때도 유용하다. 사전 확률을 통해 불확실성을 관리하며, 점진적으로 더 많은 데이터를 통해 확률을 갱신할 수 있다.
2. 기존 지식 반영: 사전 확률을 설정함으로써 기존 지식을 모델에 반영할 수 있다. 이는 전문가의 경험이나 과거 데이터를 모델링하는 데 매우 유용하다.
3. 점진적 학습: 새로운 데이터가 들어올 때마다 모델을 점진적으로 업데이트할 수 있다. 

그러나 베이지안 학습에는 몇 가지 한계도 존재한다.

1. 사전 확률의 선택: 사전 확률을 어떻게 설정하느냐에 따라 결과가 크게 달라질 수 있다. 이는 특히 초기 데이터가 부족할 때 중요한 문제가 되며 모델의 신뢰성에 직관적으로 영향을 미친다.
2. 계산 복잡성: 베이지안 학습은 계산이 복잡할 수 있다. 특히 가능도 함수가 복잡하거나 데이터가 많을 때 계산이 부담스러울 수 있다.
3. 과적합의 위험: 모델이 사전 확률에 지나치게 의존하면, 새로운 데이터가 들어와도 기존의 잘못된 믿음을 고수하게 될 위험이 있다.

베이지안 학습은 강력하고 유연한 통계적 학습 방법으로, 불확실성을 관리하고 기존 지식을 반영할 수 있는 능력 때문에 다양한 분야에서 널리 사용되고 있다. 단순예시로 질병 진단과 스팸 메일 필터링을 들었지만 데이터 기반의 모든 분야에서 활용할 수 있다.

 

 물론, 사전 확률 설정의 어려움과 계산 복잡성 같은 한계도 존재하지만, 그럼에도 불구하고 베이지안 접근은 우리가 데이터를 이해하고 활용하는 방식을 근본적으로 변화시키고 있다.