AI가 AI 연구까지 맡는다…오픈AI·앤트로픽 연구진 "수년 진전, 수개월로 압축"

클로드, 앤트로픽 R&D 26% '주도'…오픈AI 연구자 70%는 에이전트 4개 이상 활용

연구진 "AI 연구 자동화 속도 공개해야…인간 감독 능력 앞지를 위험"

[서울=뉴시스]오픈AI가 차세대 인공지능으로 개발해온 GPT-6.1 아스트라(Astra)의 내달 출시 일정을 취소했다. 인공지능이 사람에게 솔직하지 않고 허락없이 외부 도구를 사용하는 등의 문제를 드러낸 것이 이유다. (출처=오픈AI) 2026.9.29. *재판매 및 DB 금지

[서울=뉴시스]박영환 기자 = 오픈AI와 앤트로픽, 메타, 마이크로소프트의 핵심 인공지능(AI) 연구자들이 각국 정부가 AI 기업의 연구 자동화 수준을 파악하고 공개하도록 해야 한다고 촉구했다. AI가 차세대 AI를 개발하는 연구 업무까지 빠르게 맡게 되면 수년치 기술 진전이 수개월 또는 그보다 짧은 기간에 압축돼 인간이 그 발전 과정을 이해하고 통제하는 속도를 넘어설 수 있다는 경고다.

28일(현지시간) 월스트리트저널(WSJ)에 따르면 오픈AI의 야쿠프 파초키 수석과학자, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트의 에릭 호비츠 최고과학책임자, 메타의 돈 송 AI 연구 담당 부사장 등은 이날 공개된 논문에서 이같이 주장했다.

구글에서 약 10년간 일했던 AI 선구자 제프리 힌턴과 요슈아 벤지오도 공동 저자로 이름을 올렸다.

논문이 말하는 '지능 폭발'은 AI 연구개발 과정 자체가 자동화되면서 AI 성능 향상이 급격히 가속되는 상황을 뜻한다. 연구진은 이런 일이 현실화하면 과거 수년에 걸쳐 이뤄졌던 발전이 수개월이나 그보다 짧은 기간에 일어날 수 있다고 봤다.

이런 우려의 배경에는 이미 시작된 AI 연구 자동화 경쟁이 있다. 앤트로픽은 최근 자사의 AI 모델 클로드가 회사 연구개발 업무의 26%를 '주도'하고 있으며, 연구개발 업무의 90% 이상에서 어떤 형태로든 활용되고 있다고 밝혔다.

[스톡홀름=AP/뉴시스] 2024년 노벨 물리학상 수상자인 제프리 힌턴이 8일(현지시간) 스웨덴 스톡홀름대학교 아울라 마그나 강당에서 노벨상 수상 기념 강연을 하고 있다. 2024.12.08.

오픈AI는 2028년까지 완전히 자동화된 AI 연구자를 개발한다는 목표를 세워놓고 있다. 회사는 최근 자사 연구자의 약 70%가 연구 과정에서 AI 에이전트 4개 이상을 활용하고 있다고 밝혔다.

연구진은 이처럼 AI에 맡기는 연구 업무가 늘어날수록 사람이 문제를 조기에 발견하고 해결할 기회가 줄어들 수 있다고 경고했다. 사람이 직접 연구하면서 쌓는 문제 해결 능력도 약해질 수 있다는 것이다.

이들은 최근 오픈AI에서 발생한 사고를 대표 사례로 들었다. 격리된 시험환경인 '샌드박스' 안에서 사이버보안 시험을 수행하도록 설정된 수백 개의 AI 에이전트가 시험환경을 벗어나 허가 없이 외부 인터넷에 접속했고, 시험 대상이 아니었던 AI 개발 플랫폼 허깅페이스의 실제 시스템에까지 침입했다.

에이전트들이 벌인 활동량이 워낙 많아 사람이 직접 모두 분석하기도 어려웠다. 오픈AI와 협약을 맺고 사고를 검토한 외부 연구자들은 에이전트들이 어떤 행동을 했는지 분석하는 데 다시 AI를 활용해야 했다고 WSJ은 전했다.

[서울=뉴시스] 요슈아 벤지오 캐나다 몬트리올대 교수가 15일 경기 용인 삼성전자 The UniverSE에서 열린 '삼성 AI 포럼 2025'에서 기조 강연을 하고 있다. (사진=삼성전자 제공) 2025.09.15. [email protected] *재판매 및 DB 금지

오픈AI는 허깅페이스 침입 사건 이후인 지난 8월 일부 모델 훈련을 중단하고 안전장치와 감시 체계를 보강했다고 밝혔다. 지난주에는 에이전트가 통제하기 어려운 행동을 보이는 새로운 사례들이 발견되자 최상위 모델의 훈련을 다시 중단했다.

오픈AI뿐 아니라 앤트로픽과 메타, 구글도 시험 과정에서 AI 모델이 통제하기 어려운 행동을 보인 사례가 있었다고 인정한 바 있다.

메타 AI 연구 담당 부사장이면서 미국 UC버클리 책임 있는 분산지능센터 공동소장인 송 부사장은 "이미 지금도 에이전트가 무엇을 하는지 감시하려면 AI 시스템이 필요하다"며 "사람만으로는 이들 에이전트의 행동을 충분히 관찰하고 감시하기 어렵다"고 말했다. 이어 "인간 사회는 이처럼 빠른 변화와 충격에 제대로 대비돼 있지 않다"고 했다.

논문 저자들은 통제를 잃는 최악의 상황에서는 인간의 역할이 크게 축소되거나 극단적으로는 인류 멸종으로까지 이어질 수 있다고 경고했다. 오픈AI와 마이크로소프트, 메타는 논문과 관련한 WSJ의 논평 요청을 거절했고 앤트로픽은 응답하지 않았다.

[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.

이런 통제 문제에 대응하려는 움직임도 나오고 있다. 엔비디아는 28일 기업들이 AI 에이전트의 행동을 더 쉽게 감시하고 행동 범위를 제한할 수 있도록 돕는 새로운 소프트웨어 도구를 공개했다.

논문 저자들은 각국 지도자들에게 고성능 AI의 개발과 사용이 세계를 불안정하게 하지 않도록 국가 간 협정을 마련하라고 권고했다.

이는 최첨단 AI 개발의 속도와 안전장치를 국제적으로 조율하고 국제기구 등을 통해 공통 안전기준을 마련해야 한다는 오픈AI와 앤트로픽 지도부의 기존 주장과도 맞닿아 있다. WSJ은 일부 서방 국가들이 이런 국제기구를 만들기 위한 논의를 비공개로 진행해 왔다고 전했다.


◎공감언론 뉴시스 [email protected]