"AI 증명 일부, 외계서 온 듯"…괴델상 받은 MIT 교수, 공동 검증 이끈다

논문 대량 공개에 “수학자 향한 디도스 공격” 비판했던 윌리엄스

계산의 한계 연구한 괴델상 수상자…가설 제안자들과 증명 검토

[샌프란시스코=AP/뉴시스]오픈AI 영국법인 직원들의 지난해 평균 보상액이 약 41억원에 달한 것으로 나타났다. 2026.10.16

[서울=뉴시스]박영환 기자 = 오픈AI의 수학 논문 대량 공개를 ‘수학자들을 향한 디도스 공격’이라고 비판했던 미국 매사추세츠공대(MIT) 교수가 이번에는 AI가 내놓은 증명을 학계가 함께 검토하는 작업에 나섰다.

27일(현지시간) 미국 기술매체 테크크런치에 따르면 라이언 윌리엄스 MIT 교수는 오픈AI의 새 증명에 대해 일부는 통상적인 접근이지만 “두세 대목은 외계에서 온 것처럼 낯설었다”고 말했다. 이어 “바로 그 부분을 보고 연구 공동체 전체가 함께 검토해야 한다고 생각했다”고 설명했다.

검토 대상은 오픈AI가 26일 발표한 ‘지수시간가설(ETH)’의 반증이다. 1999년 제시된 이 컴퓨터과학 가설이 틀렸다는 증명을 AI로 찾아냈다는 것이다. 경쟁사 앤트로픽도 몇 시간 뒤 자체 AI 모델 클로드가 만든 반증을 공개했다.

ETH는 특정 논리 문제의 변수 수가 늘어날 때, 가장 까다로운 경우에는 아무리 좋은 계산법을 써도 처리 시간이 기하급수적으로 늘어나는 한계를 피할 수 없다고 보는 가설이다. 두 회사는 이 한계를 넘는 계산법을 찾았다고 주장한다. 오픈AI에 따르면 이 가설은 여러 분야의 논문 수백편에서 계산 문제의 난이도를 판단하는 전제로 쓰여, 반증이 검증되면 관련 연구를 다시 살펴야 한다.

윌리엄스 교수는 컴퓨터가 무엇을 쉽게 계산할 수 있고 어떤 문제에는 한계가 있는지를 연구해온 학자다. MIT에 따르면 그는 컴퓨터가 어떤 문제를 빨리 풀 수 있고 어떤 문제는 풀기 어려운지를 연구한 공로로 2024년 괴델상을 받았다. 괴델상은 이론컴퓨터과학 분야의 뛰어난 논문에 수여하는 상이다.

윌리엄스 교수는 이달 초 오픈AI가 AI 생성 수학 논문을 한꺼번에 쏟아낸 방식을 “수학자들을 향한 디도스 공격”이라고 비판했다. 그러나 이번에는 해당 분야에 중요한 아이디어를 학계가 이해하도록 돕기 위해 협력하기로 했다고 테크크런치에 설명했다.

검토에는 ETH를 제안한 미국 샌디에이고 캘리포니아대(UC샌디에이고)의 러셀 임팔리아초·라마모한 파투리 교수도 참여한다. 세 교수가 이끄는 연구진은 오픈AI 증명의 타당성과 의미를 살피고 이를 다른 연구자들이 이해할 수 있도록 설명할 예정이다.

연구진은 공개서한을 통해 학계의 검토 참여를 요청했다. 오픈AI에는 증명 자료를 모두 공개하고 연구 결과가 컴퓨터과학에 미칠 영향을 논의할 학술회의를 지원해 달라고 요구했다. 오픈AI는 두 요청을 받아들였다.

오픈AI는 검토에 참여한 연구자들이 보수를 받지 않으며 회사와 독립적으로 결론을 내린다고 밝혔다. 비밀유지계약도 요구하지 않아 연구진은 검토 과정에서 얻은 결과를 자유롭게 공유할 수 있다.

윌리엄스 교수는 새 알고리즘이 계산하기 어려운 문제에 대한 기존의 직관을 흔들 수 있다고 평가했다. 다만 오픈AI가 내놓은 알고리즘이 최종 답이거나 가능한 최선의 계산법이라고 보지는 않는다고 말했다.

윌리엄스 교수는 오픈AI의 과학 책임자 댄 로버츠에게 이번 알고리즘이 기존 암호체계의 안전성에 영향을 주는지 물었다고 전했다. 더 빠른 계산법이 등장하면 특정 길이의 암호키에 의존하는 보안체계가 취약해질 수 있기 때문이다. 윌리엄스 교수는 오픈AI가 이번 알고리즘이 기존 암호를 깨는 결과로 이어지지는 않는다고 확신하고 있었다고 전했다.

윌리엄스 교수는 AI가 연구자들에게 더 큰 질문에 도전하도록 자극하고 있다고 평가했다. 자신이 해온 일을 AI가 쉽게 처리하게 된다면 앞으로 어떤 과학적 질문을 던질지 더 깊이 고민하게 된다는 것이다.


◎공감언론 뉴시스 [email protected]