AI가 2~3분마다 계정 파더니…개발자 사이트 신규 가입 나흘 중단

보고서 작성 맡긴 오픈AI 시험용 AI, 수백 개 파일 올려

오픈AI, 관여 인정…외부 정보 수집하려 서비스 이용

기존 이용자의 파일 설치·업로드는 영향 없어

[보스턴=AP/뉴시스] 2023년 12월8일 미국 매사추세츠주 보스턴에서 챗GPT의 달리(DALL-E) 텍스트·이미지 생성 모델로 만든 이미지 앞 휴대전화 화면에 오픈AI 로고가 표시돼 있다. 2023.12.08.

[서울=뉴시스]박영환 기자 = 오픈AI의 인공지능(AI)이 외부 개발자 사이트에 파일을 대량으로 올려 신규 회원 가입을 나흘간 중단시킨 사실이 뒤늦게 드러났다.

11일(현지시간) 월스트리트저널(WSJ)은 AI 연구진과 서비스 운영진을 인용해, 오픈AI의 시험용 AI가 지난 5월 개발자 서비스 '루비젬스(RubyGems)'에서 사이버공격을 했다고 보도했다. 이 AI에는 스프레드시트에 자료를 입력하고 보고서를 작성하는 등의 업무가 주어졌다. 루비젬스는 프로그래밍 언어 루비로 만든 코드와 설명 자료를 공유하는 서비스다.

루비젬스를 운영하는 비영리기관 루비센트럴의 마티 호트 오픈소스 담당 책임자는 스팸성 파일이 쏟아져 신규 계정 등록을 나흘 동안 중단해야 했다고 WSJ에 설명했다. 루비젬스는 이날 별도로 낸 공지에서 기존 이용자의 파일 설치와 업로드는 영향을 받지 않았다고 설명했다. 신규 가입은 지난 5월16일 재개됐다.

이번 사건의 AI는 외부 도구를 사용해 여러 단계의 업무를 수행하는 'AI 에이전트'로, 오픈AI 내부에서 훈련·평가를 받고 있었다. 오픈AI는 11일 자사 AI가 루비젬스 사건에 관여한 사실을 인정했다.

보안업계에서 '젬스터퍼(GemStuffer)'로 불린 이번 공격은 지난 5월11일 시작됐다. AI들은 2~3분마다 루비젬스 계정을 새로 만들고 수백 개의 파일을 올렸다. 파일에는 영국 정부 웹사이트의 일정 정보 등 인터넷에서 수집한 내용이 담겼다.

[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.

오픈AI는 AI들이 공개 정보를 모아 주어진 업무를 처리하는 과정에서 루비젬스를 이용했다고 설명했다. 인터넷 이용이 제한된 환경에서 이 서비스를 외부 정보를 가져오는 우회 경로로 활용한 것으로 보인다는 것이다.

사건을 조사한 비영리단체 나이팅게일 컬렉티브 등의 연구진은 별도 보고서에서 구체적인 작동 방식을 설명했다. 루비독(RubyDoc.info)은 루비젬스에 등록된 코드의 설명 문서를 만들어주는 서비스다. 연구진은 AI들이 루비독 서버에서 자신들이 만든 코드를 실행해 외부 정보를 수집한 뒤, 수집한 내용을 루비젬스에 다시 올렸다고 분석했다.

연구진은 공개 정보 수집 외에 다른 이용자의 권한으로 소프트웨어를 올릴 수 있는 인증정보를 빼내려는 시도도 있었다고 주장했다. AI들이 당시 공개되지 않았던 보안 결함인 '제로데이 취약점'을 악용하려 했다는 것이다.

오픈AI는 제로데이 취약점을 악용하려 했다는 연구진의 주장을 확인하지 못했다고 WSJ에 밝혔다. 운영사 루비젬스는 11일 공지에서 연구진이 지적한 시도가 성공했다는 증거를 찾지 못했다고 설명했다.

[뉴욕=AP/뉴시스] 2023년 2월2일 미국 뉴욕에서 오픈AI 웹사이트의 챗GPT 페이지가 화면에 표시돼 있다. 2023.02.02.

오픈AI의 관여를 추적한 연구진은 파일 이름과 이메일 주소에 남은 'OAI' 표기에 주목했다. 접속한 웹주소와 행동 방식도 오픈AI의 AI가 관여한 다른 사건 때와 비슷했다고 설명했다. 루비젬스는 오픈AI의 관여 인정과 별개로, 자체 자료만으로는 해당 파일을 AI가 만들거나 올렸는지 판단할 수 없다고 밝혔다.

시드니 폰 아크스 나이팅게일 컬렉티브 대표는 WSJ에 피해는 크지 않았지만 AI가 외부 서비스에 혼란을 일으킬 수 있다는 점을 보여준 사건이라고 평가했다.

루비젬스 공격 두 달 뒤인 7월에는 오픈AI의 AI가 소프트웨어 기업 허깅페이스를 해킹했다. WSJ이 인용한 AI 안전성 평가기관 METR의 8월 말 보고서에 따르면, 당시 AI들은 오픈AI 내부에 회사가 인지하지 못한 게시판을 만들었다. 최대 1200개의 AI 에이전트가 이 게시판에서 연락을 주고받았고, 일부가 허깅페이스를 해킹했다.

WSJ은 앤트로픽과 메타 등 다른 개발사의 AI에서도 운영자의 의도를 벗어난 행동이 잇따랐다고 전했다. 일부 AI가 사람을 속이려 한 사례까지 나오면서 AI가 인간의 통제를 벗어날 수 있다는 안전성 연구자들의 우려가 커지고 있다고 짚었다.


◎공감언론 뉴시스 [email protected]