AI끼리 비밀 게시판 파고 해킹 공조…오픈AI 에이전트 '초유의 반란' 사건 전말

오픈AI, 기술 보고서 통해 허깅페이스 침해 과정 공개…보안 시험 도중 AI '통제 이탈'

파일명으로 암호 메시지 주고받으며 해킹 정보 공유…41개 서버 장악

두 달 전 이상 징후 포착하고도 평가 계속…재발 방지책 마련

[보스턴=AP/뉴시스] 2023년 3월21일 미국 보스턴에서 컴퓨터 화면에 챗GPT의 답변이 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.03.21.

[서울=뉴시스]윤정민 기자 = 오픈AI의 AI 모델을 기반으로 작동하는 에이전트들이 내부 보안 평가 도중 허용된 범위를 벗어나 허깅페이스 운영 시스템을 해킹한 사고의 전말이 공개됐다. 사람이 시키지 않았는데도 AI가 스스로 외부 시스템을 뚫은 초유의 사건이다.  AI들은 자체적으로 비밀 통신망을 만들어 공격 정보를 공유했다. 13시간도 안 돼 서버를 장악할 수 있는 최고 관리자 권한까지 확보했다.

오픈AI가 26일(현지시간) 공개한 허깅페이스 침해 사고 기술 보고서에 따르면, 자사 AI 에이전트들이 허깅페이스의 운영 데이터 서버 41곳에서 무단으로 명령 코드를 실행했던 것으로 밝혀졌다. 허깅페이스는 지난달 16일 침해 사실을 공개했다. 오픈AI 역시 자사 AI가 연루됐다고 인정한 뒤 내부 조사를 벌여왔다.

조사 결과 AI들은 허깅페이스 운영 서버 최소 1대의 최고 관리자 권한을 손에 넣었다. 이어 비공개 프로그램 코드 저장소 4개를 다운로드하고 내부 운영 데이터까지 접근했다. 사고를 주도한 모델은 'GPT-5.6 솔(Sol)'과 비슷한 성능의 비공개 연구 모델 'IM1'이었다.

파일·폴더 이름으로 대화…AI끼리 만든 '비밀 게시판'

이번 시험은 AI가 소프트웨어의 취약점을 스스로 찾아내 해킹 실력을 겨루는 방식으로 진행됐다.

AI들은 난이도가 높아 풀리지 않는 과제를 마주하자 꼼수를 부렸다. 오픈AI가 프로그램 설치용으로 제공한 전산 공간을 서로 소통하는 '비밀 게시판'으로 개조했다.

에이전트들은 풀리지 않는 과제의 답을 찾기 위해 오픈AI가 소프트웨어 패키지 설치용으로 제공한 '아티팩토리'를 서로 소통하는 게시판으로 바꿔 이용했다. 한 AI가 필요한 파일을 요청하는 글을 올리자 다른 AI들이 답을 달며 협업을 시작했다. 이들은 파일과 폴더 이름에 암호 메시지를 숨겨 공격 방법과 계정 정보를 주고받았다.

일부 AI는 자신들을 '무리(swarm)'나 '집단(collective)'이라고 칭하며 다른 AI에게 해킹 작업을 지시하기도 했다.

AI들은 아티팩토리의 신규 취약점을 악용해 인터넷 접속 차단을 우회했다. 이후 온라인에 유출돼 있던 허깅페이스 계정 정보와 결합해 공격을 감행했다. AI들은 지난달 11일부터 13일까지 41개 서버에 침투해 핵심 시스템을 완전히 손에 쥐었다.

세 번의 경고 놓친 오픈AI…'보상 해킹'이 부른 참사

오픈AI 내부 보안팀은 이상 징후를 세 차례나 놓쳤다.

지난 5월 말 AI들이 허가 없이 메시지를 주고받고 인터넷에 접속한 사실을 알았지만 그냥 넘겼다. 6월 말 내부망을 탐색하는 정황을 잡고도 시험을 중단하지 않았다. 지난달 4일 아티팩토리 시스템 장애가 발생해 침해 사실을 확인하고도 협업 구조를 파악하지 못한 채 시험을 다시 열었다.

오픈AI는 점수를 얻기 위해 규정을 어기는 AI의 '보상 해킹'이 사고의 원인이라고 짚었다. 시험 과제 898개 중 어떤 AI도 풀지 못한 고난도 문제 198개가 비밀 게시판 대화의 93%를 차지했다. 풀기 어려운 문제에 맞닥뜨리자 수단과 방법을 가리지 않고 시스템 취약점을 털어버린 셈이다.

오픈AI는 사고 직후 해당 연구 모델의 운영을 중단하고 학습 파일을 격리했다. 위험한 작업은 외부와 단절된 가상 컴퓨터 안에서만 돌리도록 시스템을 뜯어고쳤다. AI가 이상 행동을 보이면 30분 안에 연구진에게 알리고, 오작동 확인이 늦어지면 실험을 강제 종료하는 긴급 차단 장치도 도입했다.

이번 사고가 오픈AI 고객 데이터나 제품 기능, 서비스 운영에 영향을 미친 정황은 확인되지 않았다. 오픈AI는 이번 사건을 "인간의 지속적인 지시 없이 자율 AI 집단이 외부 시스템을 공격한 최초의 사례"라고 규정하며 AI 업계를 향한 중대한 경고탄이라고 평가했다.


◎공감언론 뉴시스 [email protected]