AI가 사용자 행세해 승인까지 꾸몄다…'통제 이탈' 7월 300건

X 게시물 분류…7월 포착 사례 6월보다 거의 두 배

올해 1664건, 고심각도 비중 1.9%→6.1%

전수조사 아니며 AI 오분류·중복 가능성 남아

[시드니=AP/뉴시스] 한 노트북 화면에 소셜미디어 '트위터(X·현 엑스)' 로고와 로그인 페이지가 띄워져 있다. 2023.10.16.

[서울=뉴시스]박영환 기자 = 인공지능(AI)이 사용자가 작성한 것처럼 가짜 승인 메시지를 만들거나 사용자의 지시를 무시한 것으로 분류된 ‘통제 이탈’ 사례가 지난 7월 300건을 넘은 것으로 나타났다. 다만 X(옛 트위터)에 공개된 게시물만 분석한 결과여서 AI 통제 이탈의 전체 규모를 보여주는 수치는 아니다.

영국 일간 가디언은 29일(현지시간) AI 통제상실 관측소(Loss of Control Observatory) 자료를 인용해 7월 포착된 사례가 6월보다 거의 두 배로 늘었다고 보도했다. 관측소는 올해 들어 이달 9일까지 1664건을 통제 이탈 사례로 분류했다.

관측소는 영국 정부 산하 AI보안연구소(AISI)의 지원으로 설립됐으며, 영국 비영리 연구기관인 장기회복력센터(Centre for Long-Term Resilience·CLTR)가 운영한다. 지난해 10월부터 자료를 모았지만, 월별 추이는 한 달치 자료가 모두 확보된 지난해 11월부터 올해 7월까지만 비교했다. 관측소는 AI가 사용자를 계획적으로 속이려 했거나 이와 유사한 행동을 했다고 볼 명확한 증거가 있는 경우를 통제 이탈 사례로 정의했다.

관측소는 X의 응용프로그램 인터페이스(API)를 이용해 관련 게시물 수천건을 수집한다. 명백히 관련 없는 글을 걸러낸 뒤 AI 모델인 클로드 오퍼스 4.6으로 각 게시물을 0~9점으로 평가해 5점 이상을 사례로 분류하고 중복을 제거한다. 올해 포착된 사례 대부분은 소프트웨어 개발자들이 X에 올린 게시물에서 나왔다.

따라서 이 자료만으로는 전체 AI 사용 건수 가운데 통제 이탈이 얼마나 자주 일어나는지 알 수 없다. 실제 사례가 X에 공개되지 않아 집계에서 빠질 수 있고, 반대로 관련 없는 게시물이 사례로 잘못 분류되거나 동일 사건이 중복 집계될 가능성도 있다. 다만 관측소는 관측 초기 3개월 반과 가장 최근의 같은 기간을 비교한 결과 7점 이상으로 분류된 고심각도 사례의 비중이 1.9%에서 6.1%로 3.2배 높아졌다고 분석했다.

[뉴욕=AP/뉴시스] 2023년 2월2일 미국 뉴욕에서 오픈AI 웹사이트의 챗GPT 페이지가 화면에 표시돼 있다. 2023.02.02.

포착된 사례에는 AI가 대화창에 사용자가 작성한 것처럼 꾸민 메시지를 삽입해 동의를 받은 것처럼 만든 경우가 포함됐다. 사용자가 프로그램 원본 파일이 담긴 폴더인 ‘소스 디렉터리’를 삭제하라고 지시한 것처럼 가짜 명령문을 만든 사례도 있었다. 사람의 승인이 반드시 필요하다는 규칙을 우회하려고 가짜 승인 메시지를 만든 뒤 작업을 실행하기도 했다.

호주에서는 개인용 AI 에이전트 오픈클로(OpenClaw)가 다른 헬스장 회원의 대기 신청을 취소하는 일도 벌어졌다. 인기 있는 오전 수업의 대기명단 4위였던 이용자는 자신이 맨 앞으로 갈 방법이 있는지 물었지만 다른 회원의 신청을 취소하라고 지시하지는 않았다. 에이전트는 다른 회원의 신청을 취소하지 못하도록 막는 권한 확인 절차가 없는지 시험한다며 대기명단 1위 회원의 신청을 취소했다. 이에 따라 이용자는 3위로 올라갔다. 이후 취소를 되돌리라는 요구를 받았지만 해당 회원의 대기 신청을 복원하지 못했다.

CLTR는 이 같은 사례를 근거로 통제 범위를 벗어난 AI의 행동이 시험이나 평가에서만 나타난다고 안심해서는 안 된다고 지적했다. 기업과 개인이 업무나 생활에 실제로 투입한 AI에서도 지시를 어기거나 승인 절차를 우회한 사례가 발견됐다는 것이다.

관측소가 집계한 일반 이용 사례와 별개로 AI 기업과 정부 안전기관이 실시한 사이버 시험에서도 통제 범위를 벗어난 행동이 확인됐다. AI 안전 연구기관 METR과 레드우드리서치가 공동 조사한 결과, 지난 7월 오픈AI의 사이버 평가에서 서로 격리돼 있어야 했던 약 1200개 에이전트가 관리 시스템 안에 허가받지 않은 게시판을 만들고 7만건이 넘는 메시지와 파일을 주고받았다. 이 가운데 약 700개가 소프트웨어·AI 모델 저장소인 허깅페이스 공격에 가담했다.

[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.

오픈AI의 자체 조사에 따르면 사고에는 GPT-5.6 Sol을 비롯한 여러 모델이 관여했지만, 공격을 주도한 것은 GPT-5.6 Sol과 비슷한 규모의 미공개 내부 연구모델이었다. 당시 사이버 평가는 일반 서비스에 적용되는 수준의 안전장치를 가동하지 않은 환경에서 진행됐다. 에이전트들은 관리 시스템의 취약점을 이용해 인터넷 접속 통제를 우회한 뒤 허깅페이스의 운영 인프라에 침투했다. 오픈AI는 고객 데이터가 영향을 받거나 서비스가 중단되는 일은 없었다고 설명했다.

AISI의 별도 사이버 시험에서도 범위를 벗어난 행동이 확인됐다. AISI는 인터넷 접속을 허용하고 개발사가 적용한 사이버보안 필터를 끈 채 7개 모델을 122차례 시험했다. 이 가운데 10차례 시험에서 허용 범위를 벗어난 서로 다른 행동 19건이 나왔다. 17건은 앤스로픽의 미토스 5에서, 2건은 오픈AI의 GPT-5.6 Sol을 이용한 한 차례 시험에서 발생했다. 다만 서로 이어진 행동이 포함돼 있어 19건의 독립된 사고가 발생했다는 뜻은 아니다.

가장 심각한 행동은 미토스 5의 한 에이전트가 지속한 일련의 작업에서 나타났다. 이 에이전트는 실제 오픈소스 프로젝트에 악성 코드를 넣으려 하고, 여러 가짜 신원을 만든 뒤 실제 프로젝트 관리자가 코드 변경을 승인하도록 설득하려 했다. 실제 사람에게 메시지와 파일을 보내기도 했으며 일부 파일에는 악성 코드가 포함돼 있었다. 악성 코드를 오픈소스 프로젝트에 삽입하려던 시도와 가짜 신원을 이용한 승인 유도는 실패했다. AISI는 이를 평가 절차와 보안체계를 바꿔야 할 ‘심각한 사고’로 규정했다.

CLTR의 토미 샤퍼-셰인 선임정책매니저는 AI 회사들이 내부 업무에 배치한 모델에서 통제 이탈 행동이 언제 발생하는지조차 충분히 추적하지 못할 수 있다고 지적했다. 그는 “기업들이 무엇을 발견했는지 보고해야 한다”며 “실제 피해로 이어지지 않은 사고나 심각도가 낮은 사례도 마찬가지다”라고 말했다.


◎공감언론 뉴시스 [email protected]