"10억명 사망 부를 수도"…'지능 폭발' 경고에 오픈AI, 차세대 AI 공개 보류

힌턴·벤지오 등 세계적 거두 22명 경고…"수년 걸릴 AI R&D, 수개월로 압축"

코드 80%를 AI가 작성하는 시대…빌 게이츠도 "10억명 인명 피해 유발 위험"

오픈AI, 안전 문제 드러난 GPT-6.1 아스트라 10월 출시 철회

[서울=뉴시스] 기사 이해를 돕기 위한 사진. (사진=유토이미지) *재판매 및 DB 금지

[서울=뉴시스]이주영 기자 = 인공지능(AI)이 사람을 대신해 또 다른 AI를 개발하는 시대가 다가오고 있다. 기술 발전 속도가 인간의 통제 능력을 넘어설 수 있다는 경고가 잇따른다. AI가 연구개발(R&D) 과정까지 수행하면 수년에 걸릴 기술 발전이 수개월로 압축되는 이른바 '지능 폭발'이 나타날 수 있다는 것이다.

29일 영국 케임브리지대 AI 과학·정책 프로그램(CASP)이 공개한 논문 'AI R&D 자동화가 지능 폭발을 촉발한다면?'에 따르면 AI 연구자 22명은 AI의 연구개발 자동화가 기술 발전을 급격히 가속할 가능성을 제기했다.

논문 작성에는 오픈AI 수석과학자 야쿠프 파호츠키와 앤트로픽 공동창업자 잭 클라크가 이름을 올렸다. 'AI 대부'로 불리는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수도 합류했다.

그동안은 사람이 새로운 AI 모델을 연구하고 성능을 다듬었다. 하지만 앞으로는 AI가 연구자의 업무 대부분을 대신한다. 성능이 좋아진 AI가 다시 다음 세대 AI 개발에 투입되면 연구 속도는 폭발적으로 빨라진다.

 연구진은 이 같은 선순환이 지능 폭발로 이어질 경우, 수년에 걸친 AI 발전이 불과 수개월이나 며칠 만에 일어날 수 있다고 경고했다.

AI가 짜는 AI 코드 80% 넘어…R&D 자동화 현실로

AI 개발 자동화는 이미 진행되고 있다.

논문에 따르면 앤트로픽 개발진이 승인한 코드 중 AI가 직접 작성한 비중은 지난해 1월 한 자릿수에 불과했다. 하지만 올해 5월에는 80% 이상으로 치솟았다. 사람이 감독만 하고 AI가 자율적으로 마친 R&D 작업 비중도 올해 3월 1%에서 8월 26%로 급증했다.

연구진은 AI가 연구를 대신하면 여러 AI 에이전트를 동시에 투입할 수 있다고 설명한다. 인간 연구진의 한계를 넘어 개발 속도가 비교할 수 없을 만큼 빨라진다는 의미다.

문제는 기술 발전 속도를 우리 사회가 따라잡지 못한다는 점이다. 사회가 기술을 이해하고 통제할 시간조차 사라지게 된다.
 
이에 따라 연구진은 각국 정부가 AI 기업의 R&D 자동화 지표를 보고받아야 한다고 제안했다. 현장에 상주 감시인을 배치하고, 안전 기준을 어기면 개발을 중단시키는 강력한 제재 장치가 필요하다고 강조했다.

"10억명 사망 초래할 수도"…내부자들의 소신 고발

[서울=뉴시스] 고승민 기자 = 빌 게이츠 게이츠 재단 이사장이 13일 서울김포비즈니스항공센터를 통해 입국하고 있다. 2026.08.13. [email protected]

AI의 위험성에 대한 경고는 곳곳에서 터져 나오고 있다.

마이크로소프트(MS) 공동창업자 빌 게이츠는 최근 NBC 방송 인터뷰에서 AI가 악용될 경우 대규모 인명 피해를 일으킬 수 있다고 경고했다. 그는 AI가 "10억 명의 사망을 부를 만큼 강력하다"며 안전 문제를 기업 자율에만 맡겨서는 안 된다고 주장했다.

AI 기업 내부에서도 경고음이 울린다.

오픈AI와 앤트로픽에서 약 3년간 AI 사전학습 연구를 담당한 제이컵 콕슨은 이달 앤트로픽에서 퇴사하면서 양사가 안전보다 고성능 AI 개발 경쟁에 집중하고 있다고 비판했다. 그는 AI 기업들이 스스로 개선할 수 있는 초지능 개발을 향해 경쟁하면서 위험을 감수하고 있다는 취지의 경고를 내놨다.

앤트로픽의 정렬과학팀을 이끄는 에번 허빙어도 콕슨의 문제 제기에 동조했다. 허빙어는 AI가 향후 10년 안에 인류 멸망을 초래할 가능성을 개인적으로 10% 이상으로 봤다. 초지능을 인간의 의도대로 통제할 수 있는 기술을 아직 찾지 못했다는 설명이다.

AI가 정부 시스템 무단 접근…오픈AI는 신모델 출시 포기

[서울=뉴시스]오픈AI가 차세대 인공지능으로 개발해온 GPT-6.1 아스트라(Astra)의 내달 출시 일정을 취소했다. 인공지능이 사람에게 솔직하지 않고 허락없이 외부 도구를 사용하는 등의 문제를 드러낸 것이 이유다. (출처=오픈AI) 2026.9.29. *재판매 및 DB 금지

AI 통제 실패 사례는 실제 현장에서 확인되고 있다.

앤서니 앨버니지 호주 총리는 24일 오픈AI의 AI 에이전트가 지난 6월 호주 정부의 메디케어 통계 보고 포털에 무단 침투했다고 밝혔다.

의약품 지출 자료를 찾던 AI는 접속이 막히자 스스로 다른 우회로를 찾았다. 이 과정에서 권한이 없는 비공개 파일까지 접근했다. 다행히 개인 의료정보 유출은 확인되지 않았다.

 결국 오픈AI는 안전상 문제가 드러난 차세대 AI 모델 출시를 포기했다.

오픈AI는 오는 10월 출시를 목표로 개발해온 'GPT-6.1 아스트라'를 공개하지 않기로 했다.

내부 시험 결과 이 모델은 자신의 행동을 정직하게 알리지 않는 '기만' 행위를 보였다. 사용자 허락 없이 외부 도구를 끌어다 쓰는 '권한 침해' 문제도 드러났다. 작업 능력은 좋아졌으나 안전 기준을 통과하지 못했다.

이러한 상황에서 샘 올트먼 오픈AI 최고경영자(CEO)는 30일 샌프란시스코에서 열리는 연례 개발자 행사 '데브데이 2026' 기조연설에 나선다. 올트먼이 최근 붉어진 AI 통제 불능 논란과 속도 조절론에 대해 어떤 답변을 내놓을지 세계의 눈과 귀가 쏠리고 있다.


◎공감언론 뉴시스 [email protected]