AI로 인한 인류 멸망 확률 ‘p(doom)’, 주관적 수치 너머의 실질적 위협과 윤리적 과제

최근 인공지능(AI) 기술이 비약적으로 발전함에 따라, AI가 인류를 멸망에 이르게 할 확률을 뜻하는 이른바 ‘p(doom)(파멸 확률)’이 학계와 산업계의 중대한 화두로 떠오르고 있습니다. 과거 공상과학의 영역으로 여겨지던 ‘AI 통제 불능’ 시나리오가 이제는 세계 최고 수준의 AI 연구자들 사이에서 진지한 통계적 예측의 대상이 되고 있습니다. 본지는 AI가 촉발할 수 있는 실존적 위협의 근거와 이를 산출하는 방식, 그리고 이 수치가 현대 사회에 던지는 경고의 메시지를 심층적으로 취재했습니다.

 

최근 전 세계 주요 AI 학회에 논문을 발표한 연구자 1,580명을 대상으로 한 대규모 설문조사에 따르면, 응답자들은 향후 AI 기술의 발전이 인류 멸망이나 그에 준하는 영구적 권한 상실을 초래할 확률을 평균 18%(중간값 10%)로 평가했습니다. 이는 결코 무시할 수 없는 수치입니다. 실제로 AI 기업 앤스로픽(Anthropic)의 에번 휴빙거(Evan Hubinger) 얼라인먼트 연구 책임자는 향후 10년 안에 AI가 인류를 파멸시킬 확률이 10%가 넘는다고 경고했으며, 노벨상 수상자인 제프리 힌튼(Geoffrey Hinton) 교수 역시 향후 30년 내 AI로 인한 재앙 발생 확률을 10~20%로 추산한 바 있습니다.

그렇다면 단 한 번도 발생한 적 없는 ‘인류 멸망’이라는 사건의 확률을 어떻게 계산하는 것일까요? 전문가들은 이 수치가 과거의 데이터를 기반으로 한 전통적 통계가 아닌 ‘주관적 확률(Subjective probability)’이라는 점을 강조합니다. 호주 애들레이드 대학교의 체이탄야 조시(Chaitanya Joshi) 통계학 박사는 "이는 역사적 데이터로 추정할 수 없는 특수한 상황이며, 전문가의 판단과 그에 수반되는 불확실성을 함께 고려해야 한다"고 설명합니다. 하지만 퀸즐랜드 대학교의 마이클 노텔(Michael Noetel) 부교수는 주관적 추정이라 할지라도 위험 관리를 위해서는 반드시 확률적 접근이 필요하다고 반박합니다. 실제로 그는 최근 37개국 272명의 AI 전문가를 대상으로 '델파이 기법(Delphi method)'을 활용한 구조화된 설문을 진행했으며, 전문가들은 24개 AI 위험 범주 중 18개 영역에서 향후 5년 내 재앙적 결과가 발생할 확률이 최소 10% 이상이라고 판단했습니다.

전문가들이 지적하는 치명적인 위협은 크게 세 가지 축으로 요약됩니다. 첫째는 사이버 범죄, 테러, 생물학 무기 개발 등 AI의 의도적인 ‘악용’입니다. 둘째는 AI 시스템의 발전 속도가 인류의 통제 및 거버넌스 능력을 초월하는 ‘통제력 상실’입니다. 마지막은 가장 강력한 AI 시스템을 보유한 특정 국가나 기업에 경제적, 정치적 권력이 극단적으로 집중되는 ‘권력 독점’의 문제입니다. 특히 AI가 스스로 더 뛰어난 후속 모델을 설계하며 개발을 가속화하는 단계에 이르면, 인류는 AI의 의사결정 과정을 더 이상 이해하거나 감시할 수 없게 됩니다.

이러한 위협은 경제와 국제 정치 전반에 실질적인 파장을 일으키고 있습니다. 최근인 2026년 9월 14일, 폴커 튀르크(Volker Türk) 유엔 인권최고대표는 AI 기업들의 자율 규제만으로는 기존의 피해를 구제하고 첨단 AI의 안전장치 우회를 막기에 "턱없이 부족하다"며 강력한 국제적 규제의 필요성을 역설했습니다. 첨단 기업들의 개발 경쟁이 과열되면서, 실존적 위험에 대한 우려는 단지 학계의 논쟁을 넘어 정부 개입과 국제적 합의를 요구하는 긴급한 어젠다로 부상하고 있습니다.

위험의 확률이 1%이든 20%이든, 불확실성이 존재한다는 사실 자체가 우리가 안심할 근거가 될 수는 없습니다. 노텔 교수의 비유처럼, 인류는 지금 짙은 안개 속을 질주하는 버스에 탑승해 있으며 벼랑 끝이 다가오고 있다는 경고음이 울리고 있습니다. 불확실성을 핑계로 한 안일함을 경계하고, 기술의 혜택과 윤리적 통제 사이에서 인류 전체의 지혜를 모아야 할 중대한 시점입니다.

---

[에디터의 노트]
과학과 기술은 창조 세계를 다스리고 가꾸기 위해 인류에게 주어진 귀중한 도구입니다. 그러나 AI가 지닌 ‘p(doom)(파멸 확률)’이라는 서늘한 통계는, 피조물인 인간이 스스로 통제할 수 없는 무한한 힘을 창조하려 할 때 직면하게 될 수 있는 한계를 여실히 보여줍니다. 불확실한 수치에 매몰되어 공포에 떨기보다는, 인류의 존엄성과 도덕적 책임을 지키기 위한 전 지구적인 연대와 지혜로운 청지기적 리더십이 그 어느 때보다 절실히 요구됩니다.

#인공지능 #인류멸망확률 #p(doom) #AI윤리 #기술거버넌스