실생활 속 조건부확률 - silsaenghwal sog jogeonbuhwaglyul

일러스트 | 김상민 기자

데이터를 통한 자연법칙을 확립하기 위해 ‘역확률’의 계산이 필수
토머스 베이즈, 조건부 확률과 역확률의 관계를 증명한 공식 개발
한 사건에 대한 기존 추정, 데이터와 ‘베이지언’ 통해 변할 수 있어

소아시아 북서부의 고대 도시 트로이의 공주 카산드라는 왕 프리아모스와 왕비 헤쿠바의 딸로서, 그리스 신화에 따르면 미래를 정확하게 예측하는 능력을 가졌지만 누구도 믿어주지 않는 저주에 시달린 인물이다. 올림푸스의 신 아폴로가 카산드라를 사랑하여 완벽한 예지력을 주는 대가로 하룻밤의 사랑을 약속받지만 예지력을 선물받은 카산드라가 약속을 어기고 아폴로를 거절하자 분노한 아폴로가 내린 저주라고 한다. 카산드라는 아폴로를 섬기는 신전의 여사제가 되어 다른 이와도 사랑하지 못하고 가족들에게조차 거짓말쟁이, 광녀 취급을 받으며 살아야 했다.

이후 자신의 오라비였던 파리스 왕자가 스파르타의 왕비 헬렌을 부인으로 삼기 위해 납치해 트로이로 데리고 오자 스파르타의 복수에 트로이가 멸망할 것을 예언하였지만 누구도 믿어주지 않아 고국의 소멸을 지켜볼 수밖에 없었고, 미케네의 왕 아가멤논의 첩으로 들어갔다가 아가멤논의 본처와 본처의 연인에게 살해당하였다고 한다.

미래를 정확히 예언할 수 있는 능력. 과학자로서 상상만 해도 ‘캬~’ 하는 소리가 저절로 날 것 같은 정말 신나는 능력이다. 또한 그 능력으로 시장이라는 거대한 도박장이 있는 현대 자본주의 사회에서 얼마나 큰 부자가 될 수 있을까? 그런데 이러한 꿈의 능력을 지니고서도 - 아니, 그 능력 때문에 - 누구보다 비참하게 살다 죽어간 카산드라의 이야기는 과연 ‘예측한다’ ‘예측할 수 있다’는 말이 어떤 뜻인지를 곰곰이 생각해보게 한다.

과학적인 예측력의 근원과 작동 원리를 이해하려고 할 때 반드시 알아야 할 인물 가운데 하나가 1701년 태어나 1761년 사망한 영국의 장로교 목사 토머스 베이즈(Thomas Bayes)이다. 런던에서 태어나 에든버러 대학교에서 논리학과 신학을 배운 그는 어떠한 사건이 벌어질 가능성의 척도인 ‘확률’, 그 가운데에서도 역확률(inverse probability)이라고 해서 결과를 통해 원인을 유추하는 추론(inference)의 방법론에 큰 발자국을 남긴다. 오늘은 이에 대한 이야기를 하려 한다.

(그림1) 아침에 비가 올 확률을 구한다고 할 때 지난 100일 중 스무 날 비가 왔다면 ‘P(아침에 비가 옴)’은 20%가 된다.

먼저, 확률(probability)은 사건 A가 벌어질 가능성의 크고 작음을 나타내는 0과 1 사이의 숫자이며 P(A)로 쓴다. 확률이 ‘0’인 사건은 절대로 벌어지지 않고, ‘1(또는 100%)’인 사건은 반드시 벌어진다는 뜻이며, 데이터를 통해 그 값을 추정하게 된다. 가령 한국에서 아침에 비가 올 확률인 ‘P(아침에 비가 옴)’를 짐작하고 싶으면 지난 100일(100년이어도 좋고, 100만년이어도 좋다. 데이터만 있다면) 동안 아침에 비가 온 날을 세서 100으로 나눈 숫자로 추정하는 것이 일반적이다. ‘그림 1’에서 보듯이 그 100일 가운데 스무 날 아침에 비가 왔다면 20/100=0.2=20%인 것으로 추정한다.

하지만 실생활에서 당장 내일의 아침 날씨를 조금 더 정확히 예측하고 싶어 하는 우리는 ‘오늘도 아침에 비가 왔는데 내일은 어떨까’라는 조건이 걸린 ‘조건부 확률(conditional probability)’을 묻고, P(사건|조건)처럼 쓴다. 즉 ‘P(다음날 아침에 비가 옴|아침에 비가 옴)’라는 조건부 확률은, ‘그림 1’처럼 지난 100일의 데이터에서 비가 온 스무 날 가운데 다음날에 비가 온 경우가 열흘이었다면 그 값을 10/20=0.5=50%라고 추정한다.

(그림 2) 조건부 확률과 역확률의 관계를 밝힌 토머스 베이즈의 공식 ‘P(A|B)P(B)=P(B|A)P(A)’는 벤다이어그램으로부터 유도할 수 있다.

우리는 보통 사건의 선후·인과 관계를 묻는 데 익숙하기 때문에 오늘의 날씨처럼 이미 벌어진 일을 조건으로 하여 미래 사건의 확률을 궁금해하는 일이 많지만, 시간을 거슬러 지금의 상태를 보고 과거에 무슨 일이 있었을까 묻는 것도 가능하다. 즉 P(조건|사건)처럼 사건과 조건의 위치를 뒤집어서 ‘P(어제 아침에 비가 옴|아침 아홉 시에 비가 옴)’도 물을 수 있는 것이다. 이것을 ‘역확률(inverse probability)’이라고 하는데, 범죄 현장을 보고 범인을 잡아내는 수사관, 발굴된 유물로부터 과거 생활의 모습을 재현해내고 싶은 고고학자부터 데이터를 통해 자연법칙을 확립해내려는 모든 과학자는 사실 역확률을 계산하려는 사람들이다.

위에서 소개한 베이즈의 업적이란 바로 조건부 확률과 그 역확률의 관계를 증명해낸 것이라고 할 수 있다. 베이즈 공식이라고 알려진 이것은 우리가 중학교 수학 시간에 배우는 ‘그림 2’의 벤다이어그램을 이용해 어렵지 않게 유도해낼 수 있다. 우리가 생각할 수 있는 우주의 모든 경우의 수를 ε라고 표시하고(‘Everything’에서), 그 안에서 사건 A가 벌어지는 경우를 한 동그라미로, 사건 B가 벌어지는 것을 다른 동그라미라고 표현한 뒤 각각의 확률을 그 동그라미의 면적으로 나타낸다고 하면 A와 B 둘 다 일어날 확률은 교집합 A∩B의 면적이 된다. 그러면 P(B|A), 즉 A가 일어났다는 조건하에서 B가 일어날 확률은 사건 A가 일어남으로 인해 가능한 경우의 수가 ε 전체에서 동그라미 A로 줄어든 상황에서 사건 B가 벌어지는 경우의 수로 나타내므로, A의 면적 대비 A∩B 면적인 P(B|A)=P(A∩B)/P(A)로 표시할 수 있다. 동일한 논리로 A와 B를 뒤바꾸면 P(A|B)=P(A∩B)/P(B)이고, 두 식에서 공통분모인 P(A∩B)를 지워버리면 다음처럼 조건부 확률과 그 역확률의 관계를 보여주는 베이즈 공식을 유도할 수 있다.

P(A|B)P(B)=P(B|A)P(A)

베이지언(Bayesian)이라고도 하는 외계종족 이름 같은 이 식은 P(A|B), P(B|A), P(A), P(B) 네 개의 확률 가운데 세 개의 값을 알면 나머지 하나를 알려주는 기계와 같은 것인데, 과학적 이론이나 인공지능(AI)처럼 데이터에 기반한 추론이나 학습이 필요한 일에 없어서는 안 될 일꾼이다. 즉 매일같이 타고 다니는 자동차 부품의 동작 하나하나에 뉴턴의 역학 법칙이 적용되듯이 베이지언은 모든 추론 활동에 쉬지 않고 적용되고 있는 아주 중요한 공식이다. 2차 세계대전 당시 나치군의 암호체계인 ‘에니그마’를 해독할 때도, 냉전 시대에 바다에서 들리는 소음 속에서 숨어 있는 소련의 잠수함을 찾아낼 때도, 지금 아주 뜨거운 관심을 사고 있는 자율주행차를 만들 때도 사용되고 있는 것은 베이지언이다. 물론 이렇게 거창한 예뿐 아니라 우리가 길을 가다가 장애물을 보고 ‘저길 밟으면 넘어져 다칠 수도 있으니 돌아가야 한다’고 생각하는 생활 속의 크고 작은 추론 과정에도 베이지언이 작동하고 있다. 우리가 들이마시는 공기처럼 자연스러운 것이라 인식을 하지 않고 있을 뿐이다.

(그림 3) 화이트 초콜릿 30알, 블랙 초콜릿 10알이 든 1번 통과 화이트 초콜릿 20알, 블랙 초콜릿 20알이 든 2번 통에서 눈을 가리고 하나를 고를 때 각 통을 고를 ‘전확률’은 50% 대 50%이다. 하지만 통에서 집어든 초콜릿이 화이트인 걸 알았을 때 각 통을 골랐을 ‘후확률’은 60%(1번)·40%(2번)가 된다.

이제 베이지언이 어떻게 작동하는지 감을 잡기 위해 쉬운 문제 하나를 풀어보자. 우리 앞에 미니 초콜릿통이 두 개가 있는데, 1번 통에는 화이트 초콜릿 30알과 블랙 초콜릿 10알이, 2번 통에는 화이트 초콜릿 20알과 블랙 초콜릿 20알이 들어 있다. 이제 여러분은 눈이 가려진 채 두 통 가운데 하나를 마구잡이로 골라 연 다음 안에 든 초콜릿 한 알을 집어 손에 넣었다. 이 상태에서 통을 치운 다음 눈가리개를 벗고 손을 들여다보니 화이트 초콜릿이 들어 있다. 이 화이트 초콜릿이 과연 ‘1번 통에서 나왔을 확률’은 얼마인가? 즉 화이트 초콜릿을 집었다는 조건에서 1번 통을 골랐을 조건부 확률 ‘P(1번 통을 고름|화이트 초콜릿을 집음)’를 묻는 것이다.

공식을 사용해 답을 정확히 계산하기 전에 한 번 직관적으로 따져보자. 지금처럼 화이트 초콜릿을 집었다는 사실 하나만 갖고 보았을 때 과연 1번 통일 확률이 클까, 2번 통일 확률이 클까? 일단 두 통 모두 화이트 초콜릿이 들어 있었으므로 1·2번 통 모두 가능성은 있으니 1번 통일 확률이 100%는 아니다. 그와 반대로, 각각 확률이 똑같이 50%일까? 눈을 가리고 초콜릿을 집기 전에는 그렇다고 할 수 있었으나, 화이트 초콜릿을 집었다는 것을 알게 된 이상 둘 가운데 화이트 초콜릿이 더 많이 들어 있던 1번 통일 확률이 조금 더 높다고 보는 게 상식적일 것이다. 베이지언의 역할은 이러한 상식적인 결론에 정확한 숫자를 부여하는 것이다.

이 문제는 ‘P(1번 통을 고름|화이트 초콜릿을 집음)’를 묻고 있으므로 편의를 위해, ‘A: 1번 통을 고름’ ‘B: 화이트 초콜릿을 집음’으로 표시하면 P(A|B)를 알아내야 하는데, 베이지언의 공식에 따르면 P(A), P(B|A), P(B)의 세 가지 값을 알면 풀 수 있다.

첫째, 조건이 없는 P(A), 즉 초콜릿을 고르기 전에 1번 통을 고를 확률은 이미 나왔듯이 50%이다. 둘째, P(B|A), 즉 1번 통을 골랐다는 조건하에서 화이트 초콜릿을 고를 확률은 1번 통에 든 초콜릿의 색을 보면 알 수 있다. 1번 통에는 화이트가 30개, 블랙이 10개 들어 있었으므로 그 값은 30/40=75%이다. 마지막으로 P(B), 즉 결과적으로 우리가 화이트 초콜릿을 집었을 확률. 화이트 초콜릿을 집을 경우의 수는, ‘1번 통을 50%의 확률로 고른 다음에 75%의 확률로 화이트 초콜릿을 집음’ 또는 ‘2번 통을 50%의 확률로 고른 다음에 화이트 초콜릿을 20/40=50%로 집음’이므로 결과적으로 그 값은 50%×75% + 50%×50%=62.5%가 된다.

이렇게 나온 세 가지 확률 값들을 베이지언에 대입하면 ‘P(1번 통을 고름|화이트 초콜릿을 집음)=P(화이트 초콜릿을 집음|1번 통을 고름)× P(1번 통을 고름)/P(화이트 초콜릿을 집음)’=75%×50%/62.5%=60%가 되고, 반대로 2번 통을 골랐을 확률은 40%로 줄어든다. 즉 화이트 초콜릿이 손에 들려 있다는 관찰 데이터는 1번 통을 골랐을 확률을 50%에서 60%로 10%포인트 올려주는 역할을 한 것이다. ‘그림 3’에서 나오듯이 데이터와 베이지언 추론을 통해 한 사건에 대한 우리의 지식이나 추정이 변화할 때 우리는 ‘전확률(prior)’이 ‘후확률(posterior)’로 바뀌었다고 한다.

여기에서 우리가 다시 곱씹어보아야 할 사실은 ‘1번 통을 골랐을 확률은?’이라는 질문에 대한 우리의 최선의 대답이 우리 손안에서 화이트 초콜릿을 보기 전후로 달라져 버렸다는 것이다. 조금 더 극적으로 표현하자면 한 알에 100원도 하지 않을 것 같은 손안의 초콜릿을 보고 한 줄짜리 수학 공식을 풀어버리는 순간 우리는 1번과 2번 통을 골랐을 확률이 50 대 50이었던 우주에서 60 대 40인 새로운 우주로 가는 포털을 통과한 것이고, 우리 마음대로는 원래 우주로 영영 돌아갈 수 없게 되었다고 할 수 있다.

어쩐지 과장이 심한 듯한 이런 SF 같은 표현이 카산드라의 저주나 고대 트로이의 멸망과 무슨 상관이냐고? 그 이야기는 다음 에피소드에서….

▶박주용 교수

서울대학교 물리학과를 졸업하고 미국 미시간대학교(앤아버)에서 통계물리학·네트워크과학·복잡계과학으로 물리학 박사 학위를 받았다. 하버드 데이나-파버 암연구소에서 연구원으로 시스템스 생물학을 연구하고, 현재 카이스트 문화기술대학원에서 문화와 예술의 물리학을 연구하고 있다. 제주도에 현무암 상징물 ‘팡도라네’를 공동 제작·설치했고, 대전시립미술관의 ‘어떻게 볼 것인가: 프로젝트 X’에서 큐레이터로 활동했다. 학창 시절 미식축구에 빠져 대학팀 랭킹 알고리즘을 창시한 뒤 지금도 빠져 있으며, 남는 시간에 자전거와 모터사이클을 타고 싶어 한다.