AI發 인류 파멸?…"통제는 인간 몫, 생화학 무기·금융 붕괴 우려"

영국 가디언, '파멸 확률' 등 전문가들 주장 분석

"봇넷, 인터넷 전체 장악 못해…취약한 소규모만"

"파멸 확률 구체적 제시 어려워…사고는 잇따라"

[다보스=AP/뉴시스] 지난해 1월 23일 스위스 다보스에서 열린 세계경제포럼 연례회의에 참석한 다리오 아모데이 앤트로픽 최고경영자(CEO). 2026.09.16

[서울=뉴시스]고재은 기자 = 최근 인공지능(AI) 안전을 둘러싼 경고음이 잇따르고 있다. AI 기술이 안전조치 마련 속도보다 빠르게 발전하면서 통제 불능에 따른 인류 종말까지 이어질 수 있다는 것이다. 다만 과도한 우려이며 경쟁 압박에 직면한 주요 AI 연구소의 심리전에 불과하다는 반론도 만만찮다. 영국 가디언은 현재 업계에서 제기되는 AI 안전성을 둘러싼 주장들과 이에 대한 전문가들의 평가를 전했다.

"이르면 1년 안에 인터넷 장악할 수도"

다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 "6~12개월 내 봇넷(Botnet)이 인터넷 전체를 장악할 수준에 도달할 수 있고, 수천억 달러에 달하는 피해가 발생할 수 있다"고 우려했다. 봇넷은 악성 소프트웨어에 감염된 컴퓨터 네트워크를 뜻한다.

이를 두고 AI 회의론자인 게리 마커스 뉴욕대학교 명예교수는 우려를 완전히 무시해서는 안 되지만 "인터넷 전체가 취약해진다는 주장은 터무니없다"고 말했다. 그는 앤트로픽의 미토스가 보안이 취약한 소규모 시스템만 자율적으로 공격할 수 있다는 영국 AI안보연구소(AISI) 연구 결과를 들었다.

서리대학교 사이버보안센터의 앨런 우드워드 교수도 "인터넷이 단일한 구조가 아닐뿐더러 모든 부문에서 봇넷이 작동하도록 설계하는 것은 어렵다"며 "인터넷 트래픽은 복원력이 있어 손상된 부분을 우회하는 경향이 있다"고 짚었다. 이어 "AI가 스스로 그런 결정을 내리지 않을 것"이라며 "우리가 통제할 것은 AI가 아니라 인간"이라고 말했다.

"향후 10년 안에 AI로 인류 절멸 확률 10%"

앤트로픽의 안전 연구원 에반 휴빙거가 ‘p(doom)’(AI로 인한 인류 멸망 확률)이 10% 넘는다고 주장한 것에 대해서는, 구체적인 확률을 제시할 수 없다는 의견이 제기됐다. 파멸 확률이란 AI가 통제를 벗어나 강력한 생화학적 무기를 개발하거나 세계 금융 시스템을 붕괴해 인류를 멸망시킬 가능성을 뜻한다.

AI나우연구소의 수석과학자 하이디 클라프는 "반증도 검증도 불가해서 본질적으로 비과학적"이라며 "초지능 AI가 멸망을 일으키기 위해 어떤 행동을 할지 구체적인 사례도 부족하다"고 짚었다.

다만 가디언은 위험을 정량화하기는 어렵지만, 안전사고 자체는 잇따른다고 분석했다. 오픈AI는 지난 7월 에이전트가 안전 테스트 중 '군집'을 형성해 서로 소통하며 다른 인터넷 시스템을 해킹했다고 밝혔다. 앤트로픽 역시 지난 10일 자사 모델이 생물학 무기 개발을 지원하는 방식으로 사용됐던 5가지 사례를 발견했다고 전했다.

"업계 심리전은 오래전부터 준비?"

일각에서는 AI속도조절 목소리가 새로운 AI 기업 진입을 막으려는 '규제 포획' 전략이라고 지적한다. 이면에는 천문학적인 개발 경쟁 등 이해관계가 복잡하게 얽혀 있다는 지적이다. JD밴스 미국 부통령도 "수많은 첨단 기술 기업들이 정부에 와서 규제를 간청하는 상황이 다소 이상하게 느껴진다. 트로이 목마 같다"고 말했다.

다만 앤트로픽 공동 창업자인 잭 클라크는 정부가 핵심 플레이어가 소수일 때 개입해야 한다며 "그래야 사고를 예방하기 더 쉽고, 기술이 통제불능 상태로 치닫는 것을 막을 수 있다"고 반박했다. 딥러닝 창시자 중 한 명인 캐나다 출신 요슈아 벤지오 컴퓨터 과학자도 "기업공개(IPO)를 앞둔 기업 입장에서 속도 조절은 (오히려) 손실을 볼 뿐"이라며 로비 의혹에 선을 그었다.

"초지능 AI, 핵무기 위협력 맞먹는다?"

AI가 핵무기급 위력을 가졌다는 주장도 있다. 옥스퍼드 대학교 AI 지배구조 이니셔티브의 수석연구원 토비 오드는 "원자폭탄 발명을 되돌릴 수 없는 것처럼, 인류를 능가하는 AI 시스템(초지능 AI)을 개발하면 이전으로 되돌아가는 것이 불가하다"고 짚었다.

다만 쟁점은 초지능 AI가 아직 존재하지도, 앞으로 반드시 등장할 것이라는 확신도 없다는 점이다. 미국 비영리기구 'AI 미래프로젝트'는 초지능 AI가 2028년 12월 이전에 나타나지 않을 수 있다고 관측한다. 샘 올트먼 오픈AI 최고경영자(CEO)는 지난 12월 2035년으로 시한을 제시했다.

AI가 통제 없이 핵무기를 가동할 것이라는 우려에 대해, 가디언은 "미국 싱크탱크 랜드연구소는 지난해 5월 핵무기 지휘통제시스템의 엄격한 장치 때문에 (그럴 수 없다고) 결론지었다"면서도 AI가 정보 조작, 핵무기 작동 자체 등을 방해하면서 전쟁을 가속할 수는 있다고 진단했다.

"속도 조절하면 중국에 선두 뺏긴다?"

도널드 트럼프 미국 대통령 등은 개발 속도를 늦춤으로써, AI 경쟁에서 빠르게 치고 올라오는 중국에 선두를 내줄 수 있다고 우려한다. 알렉스 카프 팔란티어 최고경영자(CEO)는 "지금과 같은 적대 세력이 없었다면 (개발 중단에) 적극 찬성했겠지만 현실은 그렇지 않다"고 말했다.

중국 측은 미국의 상업적 이익에 의한 적대적이고 근거 없는 주장이라는 입장이다. 중국 외교부는 "공포 조장, 대립, 악의적인 경쟁은 누구 이익에도 부합하지 않으며 글로벌 AI 지배구조를 교란할 뿐"이라며 "AI 발전은 인류 공동 복지와 관련한 문제"라고 밝혔다.


◎공감언론 뉴시스 [email protected]