본문 바로가기
게임이론

[완벽한전략2편] 죄수의 딜레마: 왜 우리는 서로를 배신하는가? (비극의 수학적 증명)

by 퀀트쟁이 2026. 3. 21.
반응형

안녕하세요, '선택의 미학' 시리즈로 돌아온 여러분을 환영합니다.
지난 1편에서 우리는 우리 삶의 모든 선택 뒤에 정교한 수학적 설계도가 숨어 있다는 사실을 확인했습니다. 오늘은 그 설계도 중에서도 가장 잔인하면서도 매혹적인 구역, '죄수의 딜레마(Prisoner's Dilemma)'로 들어가 보려 합니다. 앞서 보신 썸네일 속, 나노바나나로 정교하게 짜인 차가운 감옥 속에 갇힌 두 주인공의 심리 속으로 여러분을 초대합니다.

  1. 어느 오후, 취조실의 차가운 공기
    이야기는 단순한 가정에서 시작됩니다. 두 명의 공범, A와 B가 중대한 범죄 혐의로 체포되었습니다. 경찰은 이들이 범행을 저질렀다는 심증은 있지만, 결정적인 물증은 부족한 상태입니다. 검사는 두 사람을 서로 다른 방에 격리한 뒤, 각각에게 똑같은 제안을 던집니다.

    "자, 솔직해지자고. 너희 둘 다 입을 꾹 다물면(협력), 증거 불충분으로 둘 다 딱 1년만 살고 나오면 돼. 하지만 네가 먼저 친구를 배신하고(자백) 친구는 입을 다물면, 너는 바로 석방이야. 대신 네 친구는 독박을 써서 10년을 살게 되겠지. 반대로 둘 다 서로를 배신하면? 공평하게 5년씩 살면 되는 거야."

    이제 두 죄수는 깊은 고민에 빠집니다. 상대방이 무엇을 선택할지 모르는 고립된 상황, 오직 자신의 이익만을 생각해야 하는 이 나노바나나 감옥 안에서 이들은 어떤 결론을 내릴까요?
  2. 합리성의 배신: 왜 '자백'이 정답인가?
    우리는 흔히 '의리'나 '도덕'을 떠올리며 둘 다 침묵하는 것이 최선이라고 생각합니다. 하지만 수학과 경제학의 관점에서 '합리적인 인간'은 반드시 배신을 선택하게 되어 있습니다. 왜 그럴까요? A의 입장에서 경우의 수를 따져봅시다.
  • 상대방(B)이 나를 믿고 침묵할 경우: 내가 똑같이 침묵하면 1년 형이지만, 내가 배신(자백)하면 바로 0년(석방)입니다. 즉, 배신이 유리합니다.
  • 상대방(B)이 나를 배신하고 자백할 경우: 내가 침묵하면 독박을 써서 10년 형이지만, 나도 같이 배신(자백)하면 5년 형으로 줄어듭니다. 즉, 이번에도 배신이 유리합니다.
    상대방이 어떤 선택을 하든, 나에게는 항상 '배신'이 더 나은 결과를 가져다줍니다. 이를 게임이론에서는 '우월 전략(Dominant Strategy)'이라고 부릅니다.
    결국 A와 B 모두 합리적인 계산 끝에 서로를 배신하게 되고, 둘 다 침묵했다면 얻었을 '최선의 결과(각각 1년)' 대신, '최악은 아니지만 나쁜 결과(각각 5년)'를 받아들게 됩니다. 이것이 바로 개인의 합리성이 집단의 파멸을 불러오는 '죄수의 딜레마'의 본질입니다.
  1. 보상 매트릭스로 본 '유혹의 수학'
  2. 이 상황을 좀 더 전문적인 수학적 구조로 살펴봅시다. 게임이론가들은 이 보상 체계를 네 가지 알파벳으로 정의합니다.
  • T (Temptation): 나만 배신했을 때 얻는 '유혹'의 보상 (0년 형)
  • R (Reward): 둘 다 협력했을 때 얻는 '상호 협력'의 보상 (1년 형)
  • P (Punishment): 둘 다 배신했을 때 얻는 '상호 배신'의 벌 (5년 형)
  • S (Sucker's Payoff): 나만 협력하고 상대는 배신했을 때 얻는 '호구'의 보상 (10년 형)
  • 죄수의 딜레마가 성립하기 위한 수학적 조건은 T > R > P > S입니다. 즉, 배신의 유혹이 협력의 보상보다 크고, 상호 배신의 고통이 독박을 쓰는 것보다는 나아야 합니다.
  • 우리의 삶을 구성하는 나노바나나 입자들이 이 부등식의 순서대로 배열되는 순간, 세상은 신뢰가 사라진 배신의 장으로 변모합니다.
  1. 우리 곁의 '나노바나나 감옥': 현실의 사례들
    죄수의 딜레마는 교과서 속 이야기가 아닙니다. 지금 이 순간에도 우리 사회 곳곳에서 작동하고 있습니다.
    ① 환경 문제와 탄소 배출
    전 지구가 기후 위기를 맞이했습니다. 모든 국가가 탄소 배출을 줄이면(협력) 인류는 생존(R)할 수 있습니다. 하지만 특정 국가가 홀로 탄소를 마구 배출하며 산업을 키우면(배신) 그 국가는 단기적으로 엄청난 경제적 이득(T)을 봅니다. 반면 다른 나라들만 탄소를 줄이면 그들은 경제 성장이 더뎌지는 '호구'의 대가(S)를 치릅니다. 결국 모두가 배신을 선택해 지구 온난화라는 최악의 파국(P)으로 향합니다.
    ② 기업 간의 광고 전쟁
    코카콜라와 펩시가 광고비를 한 푼도 쓰지 않는다면(협력), 두 회사 모두 엄청난 비용을 절감해 이익(R)을 극대화할 수 있습니다. 하지만 한 쪽이 광고를 중단했는데 다른 쪽이 공격적으로 광고를 하면(배신), 광고를 한 쪽이 시장을 독점(T)하게 됩니다. 결국 두 회사 모두 점유율은 그대로이면서 수조 원의 광고비만 낭비하는 상태(P)를 유지하게 됩니다.
    ③ 스포츠의 도핑 스캔들
    모든 선수가 약물을 쓰지 않으면(협력) 공정한 경기(R)가 가능합니다. 하지만 나만 몰래 약물을 쓰면(배신) 금메달(T)을 딸 확률이 비약적으로 높아집니다. 남들은 쓰는데 나만 안 쓰면 도태(S)되죠. 결국 모든 선수의 몸이 망가지면서 기록만 빨라지는 비극적인 경쟁(P)이 시작됩니다.
  2. 왜 우리는 '의리'를 지키지 못하는가? (심리학적 분석)
    수학적 구조 외에도 인간의 심리는 딜레마를 더욱 심화시킵니다.
    첫 번째는 '공포'입니다. 상대가 나를 배신했을 때 내가 입게 될 타격(S)이 너무나 크기 때문에, 우리는 방어 기제로서 먼저 배신을 선택합니다.
    두 번째는 '탐욕'입니다. 내가 배신했을 때 얻을 수 있는 압도적인 이익(T)이 눈앞에 아른거리기 때문이죠.
    앞서 생성된 썸네일 속 인물들의 표정을 다시 보세요. 그들은 서로를 미워해서 배신하는 것이 아닙니다. 상대가 나를 배신할지 모른다는 공포, 그리고 나만 이득을 보고 싶다는 본능이 나노바나나 섬유처럼 촘촘하게 얽혀 그들의 눈을 가리고 있는 것입니다.
  3. 딜레마의 탈출구는 없는가?
    죄수의 딜레마가 주는 교훈은 절망적입니다. "인간은 합리적일수록 서로를 파괴한다"는 결론에 도달하기 때문이죠. 그렇다면 우리는 영원히 이 차가운 감옥에서 서로를 헐뜯으며 살아야 할까요?
    수학자들은 여기서 한 가지 희망적인 변수를 발견했습니다. 바로 '반복'입니다.
    만약 이 게임이 단 한 번으로 끝나지 않고 평생 반복된다면 어떨까요? 내가 오늘 배신하면 내일 상대방도 나를 배신할 것임을 알게 된다면? 비로소 우리는 눈앞의 0년 형(T)보다 장기적인 1년 형(R)의 가치를 깨닫기 시작합니다.
    이것이 바로 다음 편에서 다룰 '반복되는 죄수의 딜레마'이자, 우리가 그토록 기다려온 티포텟(Tit-for-Tat) 전략의 탄생 배경입니다.
    [에필로그: 오늘의 생각거리]
    여러분은 오늘 누군가와의 관계에서 '침묵(협력)'을 선택하셨나요, 아니면 '자백(배신)'을 선택하셨나요? 혹시 지금 여러분이 처한 상황이 나만 손해 보는 것 같은 '호구의 보상(S)' 상태는 아닌가요?
    죄수의 딜레마는 우리에게 말합니다. 우리가 서로를 믿지 못하는 것은 우리가 악해서가 아니라, 우리가 처한 '게임의 구조' 때문일 수도 있다고요.
    다음 3편에서는 이 지옥 같은 딜레마를 깨부수고 나타난 구원자, [3편: 티포텟(Tit-for-Tat)의 등장 - 가장 단순한 것이 가장 강력하다]로 찾아오겠습니다. 가장 단순한 규칙 하나가 어떻게 배신자들의 세상을 평정했는지 기대해 주세요!
반응형