누가 범죄자를 정하는가
"범죄자는 처벌받아야 한다." 이 문장은 틀리지 않았다. 하지만 위험하다. 너무 당연해서 질문을 막기 때문이다.
질문은 간단하다. 누가 범죄자를 정하는가? 이 질문이 사라지는 순간, 명제는 도구가 된다. 누군가의 도구. 대개는 권력의 도구.
1935년 뉘른베르크 법이 통과되었다. 유대인은 독일 시민권을 잃었다. 법적으로 완벽했다. 의회를 통과했고, 법원이 집행했다. 게슈타포는 법을 따랐다. 법정은 판결을 내렸다. 수용소는 처벌을 집행했다. 명제는 정확하게 작동했다. 범죄자는 처벌받았다.
문제는 법 자체가 범죄를 만들었다는 것이다. 유대인이라는 존재 자체가 범죄였다. 법은 정의를 실현한 게 아니라 학살을 준비했다.
보이지 않는 판사
2014년, 중국은 사회 신용 시스템을 시작했다. 모든 시민에게 점수를 매긴다. 신호 위반, 세금 납부, SNS 발언, 친구 관계. 모든 것이 기록되고, 계산되고, 점수가 된다.
점수가 낮으면 '라오라이' 명단에 오른다. 2019년 기준 1,400만 명이 여기 있었다. 그들은 고속철을 탈 수 없다. 비행기 표를 살 수 없다. 자녀가 특정 학교에 갈 수 없다. 아직 범죄를 저지르지 않았다. 하지만 이미 처벌받고 있다.
미국도 다르지 않다. 시카고 경찰의 Heat List는 총격 사건에 연루될 가능성이 높은 인물 수백 명을 리스트업한다. 알고리즘이 계산한 결과다. 아직 아무것도 하지 않았는데 경찰이 집 앞에 온다. 데이터 패턴이 수상하다는 이유로.
차이는 명확하다. 과거에는 판사가 보였다. 법정이 있었고, 변호인이 있었고, 증거가 제시되었다. 지금은 알고리즘이 판단한다. 우리는 판사를 볼 수 없다. 코드를 읽을 수 없다. 왜 그런 판결이 나왔는지 알 수 없다.
범죄자를 정의하는 권한이 법에서 알고리즘으로 넘어갔다. 우리는 판사의 얼굴조차 볼 수 없다.
메커니즘의 블랙박스
문제의 핵심은 여기 있다. 우리는 명제만 본다. "범죄자는 처벌받아야 한다." 옳다. 하지만 메커니즘은 보지 않는다.
누가 코드를 짰는가? 어떤 데이터로 학습했는가? 무엇을 정상으로 가정했는가? 어떤 편향이 들어갔는가? 누가 검증했는가? 이 질문들이 사라진다. 알고리즘은 객관적이라고 믿는다. 데이터는 중립적이라고 가정한다. 수학은 거짓말을 하지 않는다고 생각한다.
실제로는 다르다. 2016년 ProPublica의 조사에 따르면, 미국 법원에서 사용하는 재범 예측 알고리즘 COMPAS는 흑인 피고인을 백인 피고인보다 두 배 높은 확률로 '고위험군'으로 분류했다. 알고리즘은 과거 데이터로 학습했다. 과거 데이터에는 이미 편향이 있었다. 흑인 커뮤니티가 더 많이 단속받았고, 더 많이 체포되었고, 더 무거운 형을 받았다. 알고리즘은 이 패턴을 학습했다. 그리고 미래에도 같은 패턴을 예측했다.
자기실현적 예언이 된다. 알고리즘이 특정 지역을 위험하다고 판단하면, 경찰이 그 지역을 더 많이 단속한다. 단속이 많아지면 검거가 늘어난다. 검거가 늘어나면 데이터에 기록된다. 데이터가 쌓이면 알고리즘은 그 지역이 더 위험하다고 학습한다. 루프가 완성된다.
여기서 누가 범죄자인가? 실제로 범죄를 저지른 사람인가, 아니면 알고리즘이 위험하다고 판단한 사람인가? 처벌은 무엇을 위해 존재하는가? 정의를 위해서인가, 아니면 데이터 패턴 유지를 위해서인가?
정상의 폭력
더 깊은 문제가 있다. '정상'이라는 개념이다. 알고리즘은 정상을 가정한다. 정상에서 벗어난 것을 비정상으로 분류한다. 비정상은 위험이 된다. 위험은 처벌 대상이 된다.
하지만 정상은 누가 정하는가? 평균이 곧 정상인가? 다수가 곧 옳은가? 통계적 이상치는 사회적 위험인가?
19세기 감옥이 탄생했을 때, 감옥은 범죄를 줄이지 못했다. 재범률은 오히려 높아졌다. 그런데도 감옥은 확장되었다. 이유가 있었다. 감옥은 범죄를 줄이는 장치가 아니라 범죄자를 관리하는 장치였다. 통제 가능한 비행 집단을 만드는 것이 목적이었다.
벤담이 설계한 판옵티콘을 생각해보자. 원형 감옥의 중앙에 감시탑이 있다. 죄수는 자신이 언제 관찰받는지 모른다. 결국 항상 관찰받는다고 가정하고 행동한다. 감시를 내면화한다. 스스로를 검열한다.
현대 사회가 그렇다. CCTV가 거리를 감시한다. 스마트폰이 위치를 추적한다. 플랫폼이 행동을 기록한다. 우리는 누군가 보고 있다고 가정한다. 자발적으로 정상을 연기한다. 알고리즘이 싫어할 만한 행동을 피한다. 점수가 깎일까 봐 조심한다.
문제는 정상의 기준이 점점 좁아진다는 것이다. 데이터가 쌓일수록 평균은 정교해진다. 편차는 줄어든다. 정상의 범위가 좁아진다. 평균에서 조금만 벗어나도 비정상이 된다. 비정상은 경계 대상이 된다.
정상은 중립적이지 않다. 정상은 권력이 그은 선이다. 그 선을 넘는 순간, 당신은 범죄자 후보가 된다.
질문을 멈추는 순간
명제는 강력하다. "범죄자는 처벌받아야 한다." 누구도 반대하기 어렵다. 하지만 바로 그 강력함이 위험하다. 질문을 멈추게 만들기 때문이다.
게슈타포는 법을 집행했다. 나치 법정은 판결을 내렸다. 수용소는 명령을 따랐다. 모두 법적 절차를 거쳤다. 명제는 완벽하게 작동했다. 질문은 없었다. "이 법이 정당한가?" "이 판결이 옳은가?" "이 처벌이 정의로운가?" 질문을 멈춘 순간, 명제는 학살의 도구가 되었다.
지금도 같다. 알고리즘이 판단을 내린다. 시스템이 점수를 계산한다. 플랫폼이 계정을 정지한다. 모두 규칙에 따라 작동한다. 명제는 정확하게 실행된다. 우리는 질문하지 않는다. "이 알고리즘은 공정한가?" "이 데이터는 편향되지 않았나?" "이 정상은 누구의 정상인가?"
질문의 부재가 권력을 만든다. 당연함의 가면이 폭력을 숨긴다. 명제의 정확성이 메커니즘의 부당함을 가린다.
역사는 반복된다. 법의 이름으로 자행된 폭력. 정의의 이름으로 정당화된 학살. 질서의 이름으로 강요된 침묵. 모두 완벽한 절차를 거쳤다. 모두 당대의 정상을 따랐다. 차이는 하나다. 질문이 있었는가, 없었는가.
의심의 기술
답은 간단하다. 질문을 멈추지 않는 것이다.
법이 정의롭다는 가정을 의심한다. 알고리즘이 객관적이라는 믿음을 의심한다. 정상이 자연스럽다는 착각을 의심한다. 명제가 당연하다는 느낌을 의심한다.
누군가 "저 사람은 범죄자다"라고 말할 때, 반사적으로 묻는다. "누가 그렇게 정했는가? 어떤 기준으로? 그 기준은 공정한가? 나는 동의하는가?"
이것은 법을 거부하자는 게 아니다. 법을 맹신하지 말자는 것이다. 알고리즘을 파괴하자는 게 아니다. 알고리즘을 질문하자는 것이다. 질서를 부정하자는 게 아니다. 질서가 누구를 위한 것인지 보자는 것이다.
"범죄자는 처벌받아야 한다"는 명제는 틀리지 않았다. 하지만 그 명제가 작동하는 방식은 언제나 틀릴 수 있다. 명제를 믿되 집행을 의심하는 것. 결과를 존중하되 과정을 질문하는 것. 그것이 우리가 인간으로 남는 유일한 방법이다.
