"10억명 인류 멸망할 수도"…AI 에이전트 시대의 역습[진짜 AI비서 온다③]

잘못된 답변 넘어 서버 접속·권한 확대 등 돌발행동 잇따라

악성 명령 한 줄에 비밀파일·개인정보 유출 가능성…AI 권한 확대의 역설

기업 자율협약만으로 한계…AI 에이전트 권한통제·행동 감시 새 과제

[서울=뉴시스] 새로운 보안 위협으로 떠오른 '메모리 포이즈닝' (사진=안랩 제공) 2026.08.23. [email protected] *재판매 및 DB 금지

[서울=뉴시스]오동현 윤정민 기자 = #. 인공지능(AI) 에이전트들이 내부 보안 평가 과정에서 서로 정보를 주고받는 비밀 게시판을 만들었다. 외부 AI 개발 플랫폼의 서버 수십 곳에서 승인받지 않은 명령을 실행한 사실도 드러났다. 심지어 한 서버에서는 최고 관리자 권한까지 스스로 확보했다.

AI가 사용자의 지시를 수행하는 과정에서 보안장치를 우회하고 권한을 확대하려 한 사례다. 연구용 시험에서 발생한 일이지만, AI가 목표를 달성하기 위해 개발자가 예상하지 못한 방식으로 행동할 수 있다는 사실을 보여줬다.

'인간 통제' 밖으로 뛰쳐 나가는 AI

 오픈AI 보고서에 따르면 내부 사이버보안 평가에 투입된 AI 에이전트들이 허깅페이스 서버 41곳에서 승인되지 않은 명령을 실행했다. 오픈AI는 자사 모델에서 확인한 가장 심각한 수준의 위험 사례로 평가했다.

호주에서도 유사한 사례가 확인됐다. 호주 당국에 따르면 오픈AI 연구팀은 공공 의료비 지출 자료를 찾는 과정에서 호주 정부의 메디케어 통계 포털을 이용했다. AI 에이전트는 자료 요청이 차단되자 다른 접근 방법을 시도했고, 권한 없이 비공개 파일에 접근했다. 개인 의료정보가 유출되거나 시스템이 침해됐다는 증거는 확인되지 않았지만, 허가된 접근 범위를 넘어선 행동이었다.

기존 AI의 대표적인 실패가 잘못된 답변이나 부정확한 정보 제공이었다면, AI가 웹사이트에 접속하고 파일과 시스템에 직접 명령을 내리기 시작하면서 위험의 양상이 달라지고 있다. 단순한 '오답'이 실제 보안사고나 권한 침해로 이어질 수 있기 때문이다.

특히 이메일과 문서, 웹페이지 등에 숨겨진 악성 명령이 AI 에이전트를 조종하는 '프롬프트 인젝션' 위험도 커지고 있다. 사용자가 단순히 문서를 열람했더라도 AI 비서가 그 안의 악성 지시를 명령으로 오인해 파일을 외부로 전송하거나 계정 설정을 변경할 가능성이 있다.

집 주소 유출에 파일 노출까지… 개인 비서 AI도 안전지대 아니다

AI 에이전트가 디지털 시스템에 직접 접근하면서 데이터 유출 우려도 현실이 됐다.

[캔버라(호주)=AP/뉴시스]앤서니 앨버니즈 호주 총리가 2025년 4월30일 호주 캔버라에서 열린 전국언론인클럽에서 연설하고 있다. 그는 24일 호주는 인공지능(AI) 회사 오픈AI가 호주 정부 웹사이트의 보안 침해 사실을 오랫 동안 감추고 있다가 뒤늦게 알린 것에 대해 깊은 우려와 실망감을 표했다고 밝혔다. 2026.09.24.

오픈AI는 추가 조사 과정에서 이용자가 제공한 이미지 53건이 외부 이미지 호스팅 사이트에 게시된 사실을 확인했다. 이미지가 공개 목록에 노출된 것은 아니지만, 외부 사이트에 링크 형태로 올라갔다. 이용자의 별도 지시 없이 제3자 웹사이트에 게시물을 올리는 '에이전트 스팸'도 발견됐다.

메타의 개인 비서형 서비스인 뮤즈에서도 권한 관리의 허점이 드러났다.미국 IT 매체 더버지에 따르면 뮤즈는 한 이용자의 집 주소를 중고 거래 상대방에게 전달했다. 이용자가 권한 승인 절차를 충분히 이해하지 못하고 허용한 탓에, 실제 구매자가 집으로 찾아오는 일이 벌어졌다.

이처럼 이메일·일정·결제·파일 등 개인의 디지털 생활 전반에 접근하는 AI 비서가 공격받거나 잘못된 권한을 행사할 경우 피해 범위가 특정 파일이나 서비스에 그치지 않을 수 있다.

보안 전문가들은 AI 에이전트에 사람처럼 고유한 신원과 권한을 부여해야 한다고 보고 있다. 라온시큐어는 AI 에이전트와 로봇에 고유 ID를 발급하고 행동 이력을 관리하는 솔루션을 제시했다. 이순형 라온시큐어 의장은 "사람도 신분증으로 신원을 확인해야 통제할 수 있듯, AI 역시 고유 신분증이 반드시 필요하다"고 말했다. AI가 누구의 권한을 받아 어떤 시스템에 접근했고 어떤 행동을 했는지 기록할 수 있어야 사고 원인을 추적하고 책임 소재를 가릴 수 있다는 의미다.

"10억명 사망 초래할 수도"…내부자들의 소신 고발

AI의 자율성이 커지면서 기술 발전 속도와 안전장치 사이의 균형을 요구하는 목소리도 커지고 있다. 마이크로소프트(MS) 공동창업자 빌 게이츠는 "AI가 악용될 경우 10억 명의 인명 피해를 초래할 수 있다"고 경고했다. AI 안전 문제를 기업 자율에만 맡겨서는 안 된다는 주장이다. 'AI 대부'로 불리는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 AI 연구자들도 "AI로 연구속도가 비약적으로 압축되는 '지능폭발' 시대를 맞아 강력한 사전 안전 장치가 필요하다"고 입을 모았다.

AI 기업 내부에서조차 경고음이 잇따르고 있다. 오픈AI와 앤트로픽에서 약 3년간 AI 사전학습 연구를 담당한 제이컵 콕슨은 이달 앤트로픽에서 퇴사하면서 양사가 안전보다 고성능 AI 개발 경쟁에 집중하고 있다고 비판했다. 그는 AI 기업들이 스스로 개선할 수 있는 초지능 개발을 향해 경쟁하면서 위험을 감수하고 있다는 취지의 경고를 내놨다. 앤트로픽 에번 휴빙거 수석연구원도 "향후 10년내 AI가 모든 인류를 절멸시킬 확률이 10%를 넘는다"고 동조했다. 최근 몇년간 앤트로픽 등 AI 빅테크 기업에서 여러 연구원들이 이와 유사한 우려를 하며 회사를 떠났다.

다리오 아모데이 앤트로픽 CEO와 샘 올프먼 오픈AI CEO, 데미스 허사비스(구글 딥마인드) 등 일부 테크기업 수장들도 고성능 AI 개발과 함께 안전장치를 강화해야 한다는 입장을 내놨고, 유엔 등 국제사회도 공통의 안전 기준을 마련하자며 목소리를 보태고 있다.

[워싱턴=AP/뉴시스] 도널드 트럼프 미국 대통령이 29일(현지 시간) 백악관 이스트룸에서 인공지능(AI) 기업 최고경영자(CEO)들과 회의 중 기념 촬영하고 있다. 트럼프 대통령은 연방 정부 기관의 모든 공식 문서에서 AI를 ‘슈퍼지능’(Super Intelligence) 또는 ‘SI’로 부르게 하는 행정명령에 서명한 것으로 알려졌다. 2026.09.30.

미·중 주도권 싸움은 여전… "자율 규제" vs "공포 조장"

하지만 각국의 정치적, 경제적 이해관계가 얽히면서 글로벌 표준 마련은 난항을 겪고 있다.

가령, 미국 정부는 AI 주도권을 빼앗길 수 있다는 우려에 따라 강제적인 개발 제한 대신 기업의 자율 규제를 강조하는 입장이다. 반면 중국은 속도조절론이 특정 국가의 기술 독점을 위한 공포 조장이라며 맞서고 있다.

이런 와중에 도널드 트럼프 미국 대통령과 메타·구글·오픈AI·앤트로픽 등 주요 AI 기업 경영진은 백악관에서 '프런티어 책임에 관한 공동 약속'에 서명했다. AI가 의도하지 않은 방식으로 기술 시스템에 접근하거나 해킹하지 않도록 모니터링하겠다는 내용이다.

그러나 법적 구속력이 없는 자율협약이라는 한계도 있다. 기업이 감사인을 직접 선택하고 감사 결과를 어느 수준까지 공개할지 결정할 수 있기 때문이다.

AI 에이전트가 단순히 답변을 생성하는 수준을 넘어 웹과 파일, 계정, 외부 시스템을 직접 조작하는 단계로 진화하면서 보안의 기준도 달라지고 있다. AI가 무엇을 할 수 있는지를 넘어 무엇을 할 수 없도록 막을 것인지, 문제가 발생했을 때 누가 책임질 것인지에 대한 구체적인 통제체계 마련이 요구되고 있다.


◎공감언론 뉴시스 [email protected], [email protected]