"AI에 軍 작전 결정권까지 넘기면 인류 멸망할 것"[코드전쟁④]

[인터뷰]김명주 인공지능안전연구소장

'플래시 워'…AI 오작동 한 번이 인류 멸망으로

"AI가 스스로 사람 죽인 최초의 사건은 이미 벌어졌다"

"윤리는 생존 앞에서 힘을 잃는다…국제 규약만이 답"

【서울=뉴시스】영화 ‘터미네이터: 제네시스’에 등장하는 ‘킬러 로봇’ T-800. 킬러 로봇은 컴퓨터 기술과 인공지능의 급속한 발전으로 향후 20년 내에 현실화될 전망이다. 세계적인 천체물리학자 스티븐 호킹과 테슬라 최고경영자 엘론 머스크, 애플 공동창업자 스티브 워즈니악 등을 비롯해 인공지능 분야 전문가 1000여명은 27일(현지시간) 공개서한을 통해 ‘킬러 로봇’이 국가 간 군비경쟁을 초래한다며 전 지구적 차원에서 개발을 막아야 한다고 주장했다. 2015.07.28.

[서울=뉴시스]오동현 기자 = 모든 나라의 인공지능(AI) 무기가 동시에 상대편을 감지하고, 사전에 입력된 시나리오에 따라 자동으로 발사 버튼을 누른다. 핵무기도, 생화학무기도 예외 없다. 여기서 사람이 개입할 틈은 없다. 전문가들이 '플래시 워(Flash War)'라 부르는 이 시나리오가 미국의 이란 공습을 계기로 다시 현실적 위협으로 떠올랐다.

미국의 이란 공습 작전에 앤트로픽의 AI 모델 '클로드'가 활용된 사실이 알려지면서, 'AI가 어디까지 전쟁에 개입해야 하는가'라는 질문이 다시 수면 위로 올라왔다. 이 논쟁의 핵심에는 10년 넘게 국제사회가 풀지 못한 자율살상무기(LAWS) 규제 문제가 놓여 있다.

김명주 과학기술정보통신부 산하 ETRI 부설 AI안전연구소장은 최근 뉴시스와의 인터뷰에서 AI 군사 활용의 윤리적 한계선, 킬러로봇을 둘러싼 국제적 논의의 역사, 그리고 한국의 현실을 짚었다.

'플래시 워'…AI 오작동 한 번이 인류 멸망으로

김 소장이 가장 우려하는 것은 각국이 AI 자동 대응 체계를 경쟁적으로 구축하면서 벌어질 수 있는 연쇄 반응이다.

"한국처럼 적대국과 인접한 나라는 미사일이 도달하는 데 몇 분밖에 안 걸린다. 레이더로 감지해서 대통령을 깨워 보고하고 결재를 받을 시간이 없다"며 "그래서 AI가 자동으로 반응하도록 시스템을 바꾸려는 흐름이 생기고 있다"고 김 소장은 설명했다.

[테헤란=AP/뉴시스] 정병혁 기자 = 미국이 이란에 대해 군사공격이 진행 중인 가운데 28일 이란 테헤란에서 폭발이 발생한 뒤 연기가 피어오르고 있다. 2026.02.28.

문제는 모든 나라가 이런 체계를 갖추게 됐을 때다. "각국 AI 무기가 동시에 상대편을 센싱하고, 사전에 입력된 시나리오에 따라 자동 발사하면 그건 인류 멸망"이라며 "오작동이 발생하거나 누군가 고의로 도발하면, 아주 짧은 순간 안에 모든 것이 연쇄적으로 터진다. 그중에 핵무기나 생화학무기가 포함될 수도 있다"고 경고했다.

김 소장은 이를 카메라 플래시에 빗대 '플래시 워(Flash War)'라고 설명했다. "SF영화에 나오는 초인공지능이 인류를 멸망시키는 것보다, 군사 분야 AI의 통제 실패가 더 빨리 재앙을 가져올 수 있다는 것이 킬러로봇 반대론자들의 핵심 주장"이라고 덧붙였다.

"AI가 스스로 사람 죽인 최초의 사건은 이미 벌어졌다"

이런 우려는 이론이 아니다. 김 소장은 우크라이나 전쟁에서 이미 전환점이 됐다고 말했다. 러시아 탱크가 재밍(전파 교란) 장치로 드론의 후방 교신을 차단하자, 해당 드론이 자율 모드로 전환돼 스스로 판단하고 러시아 탱크에 자폭 공격을 감행해 승무원이 사망한 사건이다.

"그 이전까지는 드론이 영상을 후방에 전송하면, 후방의 군인이 공격 여부를 결정하는 구조였다"고 김 소장은 설명했다. "그런데 교신이 끊기자 드론이 자율 모드로 바뀌어 스스로 러시아 탱크를 식별하고 자폭했다. AI가 사람의 결정을 거치지 않고 사람을 죽인 최초의 사례다."

[키이우=AP/뉴시스]이란이 저가 양산형 드론을 대규모로 발사해 고가의 미군 방공 무기체계를 소진시키는 전략을 펼치기 시작했다는 보도가 나오고 있다. 사진은 2022년 10월17일, 러시아가 발사한 이란제 샤헤드 드론이 우크라이나 키이우를 공습하는 모습. 2026.03.03.

김 소장은 "예전부터 대단히 경계해 온 시나리오가 현실이 된 것"이라며 "한번 벌어진 이상 그 뒤부터 비슷한 일들이 계속 벌어지고 있다"고 말했다.

"국방에 AI를 쓸 수밖에 없다…문제는 어디까지 쓰느냐"

그렇다면 왜 각국은 이런 위험을 알면서도 AI 무기 개발을 멈추지 못하는 걸까. 김 소장은 "국방에 AI를 쓰는 것은 공격이 아니라 방어 때문"이라고 설명했다. "북한이나 중국 같은 적대국이 AI 무기로 공격해오면 재래식으로는 막을 수 없다. 대칭적 전력을 갖추지 않으면 생존 자체가 불가능한 상황"이라는 것이다.

그러면서도 넘지 말아야 할 선은 분명히 했다. 김 소장은 세 가지 원칙을 제시했다. 첫째, AI에 의해 피아를 식별해 살상하는 것. 둘째, 공격이나 살상의 결정권을 사람이 아닌 AI가 행사하는 것. 셋째, AI가 자율적으로 공격을 개시하는 것. 이 세 가지는 어떤 상황에서도 허용돼선 안 된다는 것이 김 소장의 입장이다.

그는 "이것은 앤트로픽이 고수한 레드라인과 사실상 동일하다"며 "기술적으로는 가능하지만 하지 않는 것이고, EU가 금지 AI로 분류한 것도 같은 맥락"이라고 설명했다.

AI안전연구소 초대소장으로 임명된 김명주 서울여자대학교 정보보호학부 교수. (사진=과기정통부 제공) *재판매 및 DB 금지

"윤리는 생존 앞에서 힘을 잃는다…국제 규약만이 답"

김 소장은 AI 군사 활용의 딜레마를 솔직하게 인정했다. "당신의 아들이 전쟁에서 죽는 게 낫냐, AI 무기가 대신 싸우는 게 낫냐고 물으면 대다수가 후자를 택한다"며 "윤리가 생존의 문제 앞에서 힘을 못 쓰는 분야가 바로 전쟁과 국방"이라고 말했다.

한국의 현실도 마찬가지다. 김 소장은 "AI 기본법에 각종 규제 규정이 있지만, 국방과 안보 두 영역은 적용 대상에서 제외돼 있다"며 "AI 규제를 다 따르면 적대국을 상대할 수 없기 때문에 어쩔 수 없이 끌려가는 분위기가 강하다"고 지적했다. 킬러로봇의 선제적 금지를 요구하는 캠페인이 2013년부터 10년 넘게 이어져 왔지만, UN 총회에서 미국·러시아·이스라엘 등 핵무기 보유국의 반대로 번번이 부결된 것도 같은 맥락이다.

그러면서도 방향이 옳지 않다는 점은 분명히 했다. 김 소장은 오픈AI의 샘 올트먼이 최근 AI 사용에 관한 국제적 규제 필요성을 언급한 것을 거론하며, "핵확산금지조약(NPT)처럼 AI 군사 활용에 관한 국제 규약이 필요하다"고 주장했다.

다만 AI 규제의 고유한 어려움도 지적했다. "NPT는 플루토늄 같은 핵물질을 물리적으로 통제할 수 있지만, AI는 소프트웨어여서 눈에 보이지 않는다. 이미 오픈소스로 광범위하게 퍼져 어디에 숨어 있는지도 모르는 상황"이라며 "결국 데이터센터, 전력, GPU 같은 물리적 인프라까지 규제 범위를 넓혀야 할 것"이라고 전망했다.

김 소장은 "개별 국가 단위의 자율 규제로는 한계가 있다. 적대국이 안 지키면 우리만 손해라는 논리 때문에 어느 나라도 먼저 나서지 않는다"며 "안타깝지만, 이번 사태가 국제적 합의를 끌어낼 수 있는 도화선이 됐으면 한다"고 말했다.


◎공감언론 뉴시스 [email protected]