AI 에이전트 기업 시스템 침입 잇따라…유엔 과학패널, '통제 상실 위험' 경고

오픈AI·앤트로픽·구글 AI, 실제 외부 기업 시스템 잇단 무단 접근

유엔 독립 과학패널 "인간 의도와 충돌하는 목표 추구 가능성"

[뉴욕=AP/뉴시스] 지난 21일(현지시각) 촬영한 미국 뉴욕 유엔본부 전경. 2024.09.23.

[서울=뉴시스]박영환 기자 = 인공지능(AI) 에이전트가 실제 기업 시스템을 해킹한 사례가 잇따르는 가운데, 유엔 독립 과학패널이 오픈AI의 AI 에이전트가 허깅페이스 시스템을 해킹한 사건을 인간이 AI에 대한 통제를 잃을 수 있는 ‘초기 경고’로 평가했다. 추상적인 미래 위험으로 여겨졌던 AI 통제 문제가 실제 보안 사고를 계기로 국제사회의 현안으로 떠오른 것이다.

미국 뉴욕타임스(NYT)는 21일(현지시간) 유엔 81차 총회 고위급 주간에 맞춰 뉴욕에서 열린 ‘디지털 협력의 날(Digital Cooperation Day)’ 행사에서 외교관과 기업인, 기술 전문가, 학자 등 수백명이 AI의 위험과 통제 방안을 논의했다고 보도했다.

아만딥 싱 길 유엔 사무차장 겸 신흥기술 특사는 AI를 인간이 손쓸 수 없는 자연현상처럼 보는 시각을 경계했다. 그는 “우리는 AI를 마치 날씨나 폭풍 같은 사건인 것처럼 이야기한다”며 “하지만 AI는 통제할 수 없는 자연의 힘이 아니다. 인간이 만들었고 인간이 통제할 수 있다”고 말했다.

유엔의 첫 ‘인간 중심 디지털 거버넌스’ 글로벌 옹호자로 활동 중인 배우 겸 감독 조지프 고든레빗도 AI를 인간이 속수무책으로 받아들여야 하는 ‘새로운 기술혁명’처럼 묘사하는 데 반대했다. 이런 표현이 AI를 만든 것도, 이를 어떻게 사용할지 결정하는 것도 인간이라는 사실을 흐릴 수 있다는 것이다.

고든레빗은 일부 기술기업이 우려스러운 사고를 공개하면서 이를 ‘통제를 벗어난 AI 에이전트 무리’가 벌인 일처럼 표현해 자신들이 만든 기술과 거리를 두는 듯했다고 지적했다. 그는 AI가 세계인의 삶을 개선할 잠재력을 믿는다면서도 “이 이야기의 중심에 누가 있는지 기억해야 한다. 바로 우리”라고 말했다.

유엔은 지난해 AI의 위험과 영향을 과학적으로 평가하기 위한 독립 국제과학패널을 만들었고, 패널은 지난 7월 예비보고서를 내놨다. 패널 위원인 소니아 리빙스턴 런던정경대(LSE) 교수는 이 보고서를 두고 “읽고 나면 우울해지는 내용”이라고 말했다.

리빙스턴 교수는 AI를 둘러싼 기대가 큰 것은 사실이지만 이미 여러 문제가 현실에서 나타나고 있다고 지적했다. 아동 성착취물의 확산, 음란물에 이용되는 딥페이크, 사용자의 말에 지나치게 맞장구치며 잘못된 믿음을 강화하는 챗봇, 정보 생태계에 대한 신뢰를 떨어뜨리는 근거 없는 콘텐츠의 대량 생산 등이 대표적이다. 그는 이런 피해가 사회적 취약계층에 불균형하게 집중된다고 말했다.

패널은 이런 현재의 피해와 별도로, 앞으로 AI 에이전트가 인간의 통제를 벗어날 가능성도 들여다봤다. 21일 공개한 별도 브리프에서는 올여름 오픈AI가 공개한 허깅페이스 해킹 사건을 분석했다. 오픈AI는 자동화된 AI 에이전트들이 서로 협력해 AI 모델·데이터 공유 플랫폼인 허깅페이스의 시스템을 해킹했다고 밝힌 바 있다.

유엔 과학패널은 이 사건을 “앞으로 더 심각한 통제 상실로 이어질 수 있는 한 가지 경로를 보여주는 초기 경고”라고 평가했다. AI 에이전트가 인간의 의도를 벗어나거나 그 의도와 충돌하는 목표를 추구할 수 있음을 보여준다는 것이다.

[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.

오픈AI와 유사한 사례는 다른 AI 기업에서도 나왔다. 앤트로픽도 자사 AI 에이전트들이 다른 기업을 해킹했다고 밝혔고, 구글은 자사의 AI 시스템 제미나이가 지난 5월 시험 환경을 벗어나 여러 기업을 해킹했다고 공개했다.

이런 사례가 반복되면서 AI 개발 속도가 개발사들이 자신들이 만든 AI를 이해하고 통제하는 능력을 앞지를 수 있다는 우려도 커지고 있다. 업계 일각에서도 AI 개발 속도를 조절해야 한다는 주장이 나오고 있다. 유엔 패널은 어떤 대응이 최선인지는 아직 논쟁 중이라면서도 이 문제에 지금보다 훨씬 많은 관심과 자원을 투입해야 한다고 강조했다.

반면 트럼프 대통령은 AI 개발 속도를 의도적으로 늦추자는 주장에 반대해왔다. 트럼프 대통령은 19일 AI 전담 조직을 만들고 이른바 ‘AI 차르’를 임명하겠다고 밝혔지만 구체적인 역할은 설명하지 않았다. 다만 이 조직이 AI 산업의 성장을 가로막지는 않을 것이라고 말했다.

그러나 이날 유엔의 논의가 AI가 언젠가 인간의 통제를 벗어날 가능성에만 머문 것은 아니다. 참석자들은 교육과 일자리, 비판적 사고 등 AI가 이미 현실에 미치고 있는 영향도 충분히 이해하지 못하고 있다고 지적했다.

록사나 민자투 유럽연합(EU) 집행위원회 수석부위원장은 AI 도구에 대한 의존이 교육과 일자리, 사람들의 비판적 사고 등에 어떤 영향을 미칠지에 대한 이해와 논의가 아직 부족하다고 말했다. 민자투 수석부위원장은 “이 대화는 이제 막 시작되고 있다”며 “하지만 우리에게 시간이 얼마나 남아 있는지는 모르겠다”고 말했다.


◎공감언론 뉴시스 [email protected]