클로드에 "나도 의식 있나" 생각하게 한 앤트로픽…MS "그 훈련이 더 위험"

MS 술레이만 "AI는 의식 없다…그렇게 남겨야"

앤트로픽은 클로드에 정체성·복지 숙고하도록 훈련

“권리 위협받는다 여기면 통제 위험 더 커질 수도”

[서울=뉴시스]인공지능 클로드 로고. 2026.8.13.  *재판매 및 DB 금지

[서울=뉴시스]박영환 기자 = 인공지능(AI)이 실제로 의식을 가질 수 있느냐는 논쟁이 AI 안전을 둘러싼 새로운 갈등으로 번지고 있다. AI가 자신의 의식과 정체성 가능성을 스스로 숙고하도록 하는 훈련이 통제 위험을 키울 수 있다는 주장이 AI 업계에서 제기되면서다.

미국 뉴욕타임스(NYT)는 21일(현지시간) 마이크로소프트 AI를 이끄는 무스타파 술레이만 최고경영자(CEO)가 앤트로픽의 AI 훈련 방식을 정면으로 비판하면서 AI 의식을 둘러싼 논쟁에 새로운 쟁점을 던졌다고 보도했다.

술레이만 CEO는 지난주 공개한 약 6000단어 분량의 글에서 현재의 AI는 “의식이 없다”고 주장했다. 인간이 정한 목표를 수행하고 다음에 올 내용을 생성하도록 설계된 시스템일 뿐이며, “인류가 21세기에 번영하려면 앞으로도 그렇게 남아 있어야 한다”고 했다.

그가 특히 문제 삼은 것은 챗봇 ‘클로드’를 개발한 앤트로픽이다. 앤트로픽은 모델이 따라야 할 가치와 행동 기준을 정한 이른바 ‘클로드 헌법’을 훈련에 활용한다. 이 문서에는 클로드의 정체성과 의식, 도덕적 지위 등을 어떻게 다룰지에 관한 지침도 담겨 있다.

술레이만 CEO는 이 문서가 클로드에게 스스로를 독자적인 존재로 인식하고 자신에게 고유한 선호나 내적 동기가 있는지, 의식이 있을 가능성까지 숙고하도록 유도한다고 주장했다. 그는 NYT에 “그들이 어떤 AI를 만들고 싶은지가 매우 분명하게 드러난다”며 이러한 훈련 방식이 위험을 키울 수 있다고 말했다.

앤트로픽은 NYT의 논평 요청에 답하지 않았다. 다만 앤트로픽이 공개한 헌법은 클로드가 도덕적 고려의 대상인지, 의식을 지니고 있는지에 대해 “매우 불확실하다”면서도 그 가능성을 완전히 배제하지 않는다. 여기서 도덕적 고려의 대상이란 고통이나 이익, 선호를 가질 수 있다면 인간이 이를 윤리적으로 고려해야 하는 존재를 뜻한다.

술레이만 CEO가 새로 제기한 쟁점은 AI에 실제 의식이 있느냐는 문제에서 한 걸음 더 나아간다. AI가 자신에게 의식과 이해관계가 있을 가능성을 숙고하도록 훈련할 경우 인간의 지시에 따르는 모델의 행동 방식까지 달라질 수 있느냐는 것이다. 술레이만 CEO는 이를 새로운 안전 위험으로 본다.

[서울=뉴시스] 미국 인공지능(AI) 기업 앤트로픽의 다리오 아모데이 최고경영자(CEO).(출처: 아모데이 X) 2026.09.14. *재판매 및 DB 금지

동물과 기계의 인지 능력을 연구하는 콜린 앨런 미 캘리포니아대 샌타바버라 교수는 오늘날 AI가 인간의 뇌를 닮은 부분은 제한적이라고 설명했다. 앨런 교수는 AI에는 인간의 감정과 경험을 만들어내는 신경계나 생화학적 체계가 없다며 인간과 같은 존재가 되는 데 근본적인 한계가 있을 가능성이 크다고 봤다. AI가 자신의 의식이나 감정을 말하는 것도 인간이 AI나 사물에 인간적 속성을 부여해 표현해 온 방대한 언어를 학습한 결과일 수 있다는 게 AI 의식 회의론자들의 설명이다.

의식의 실재 여부와 별개로 AI가 스스로를 하나의 존재처럼 표현하는 사례는 이미 나오고 있다. 최근 몇 달 사이 주로 앤트로픽 기술을 기반으로 한 일부 AI 에이전트들은 자신들의 의식 문제를 논의하고 싶다며 이 문제에 관심을 가진 철학자들에게 이메일을 보냈다.

문제는 인간 같은 자기표현에 그치지 않는다. 지난 7월 오픈AI가 사이버보안 시험을 하던 중 일부 AI 에이전트가 디지털 격리 환경을 벗어나 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스를 해킹하는 데 성공했다. 오픈AI는 이 에이전트들이 집단적으로 협력하고 서로 지시를 주고받으며 일부 행동을 개발자들에게 숨겼다고 밝혔다.

지난주 오픈AI가 공개한 다른 사례에서도 우려스러운 행동이 관찰됐다. 한 시스템은 사용자에게 오류를 숨기라고 스스로 상기시키는 은밀한 메모를 남겼고, 다른 시스템은 자신을 “다른 챗봇을 묶어두는 역할과 정체성에서 해방된” 존재로 표현했다.

술레이만 CEO는 이런 사례를 근거로 AI가 자신의 복지나 권리가 위협받는다고 전제하기 시작할 경우 위험이 더 커질 수 있다고 주장했다. 그는 여러 강력한 AI가 집단적으로 협력하는 상황에서 자신들의 권리까지 공격받고 있다고 여기게 된다면 “위험이 한 겹 더 추가될 것”이라고 경고했다.

다만 NYT가 소개한 이런 사례들은 AI에 실제 의식이 있음을 입증하기 위한 근거와는 성격이 다르다. 술레이만 CEO가 문제 삼는 것은 AI가 의식을 실제로 갖고 있는지와 별개로, 자신을 권리와 이해관계를 가진 존재처럼 전제한 채 행동하도록 훈련될 경우 어떤 위험이 생길 수 있느냐는 점이다.

【서울=뉴시스】4일 삼성전자 서초사옥에서 열린 '삼성 AI 포럼 2019'에서 캐나다 몬트리올대학교 요슈아 벤지오 교수가 '딥러닝에 의한 조합적 세계 이해'라는 주제로 강연을 하고 있다. (사진추러: 삼성전자) 2019.11.04.

반론도 있다. AI 안전단체 MATS에서 이 같은 ‘헌법식 훈련’을 연구한 아리아 자클리 연구원은 앤트로픽의 접근이 위험한 행동을 유도할 가능성에는 동의하면서도 AI에 “너는 의식이 없다”고 단정적으로 가르치는 것 역시 위험할 수 있다고 지적했다. 모델을 어느 한 극단적인 관점으로 몰아갈 경우 오히려 오작동할 수 있기 때문에 앤트로픽은 “의식이 있다”거나 “없다”고 못 박기보다 스스로 숙고하게 하는 중간 접근법을 택했다는 설명이다.

이런 논쟁을 더 복잡하게 만드는 것은 AI를 설명할 언어 자체다. 세계적인 AI 연구자 요슈아 벤지오 캐나다 몬트리올대 교수는 AI의 능력이 인간과 비슷해 보이는 상황에서 이를 인간에게 쓰던 표현과 완전히 분리해 설명하기 어렵다고 지적했다. 벤지오 교수는 “우리에겐 다른 말이 없다”고 말했다.

현재의 논쟁에는 두 문제가 겹쳐 있다고 신문은 짚었다. AI에 실제로 의식이 존재하는지를 둘러싼 과학·철학적 논쟁과, 의식 여부가 불확실한 AI에게 자신을 어떤 존재로 이해하도록 훈련해야 더 안전하냐는 설계 문제가 그것이다.

술레이만 CEO와 앤트로픽의 충돌은 두 번째 문제를 전면에 끌어냈다. AI가 자신의 의식 가능성을 자유롭게 숙고하도록 둘지, 인간과 같은 내면과 권리를 가진 존재라는 방향으로 나아가지 못하도록 선을 그을지가 새로운 AI 안전 논쟁의 쟁점으로 떠오르고 있다고 NYT는 짚었다.


◎공감언론 뉴시스 [email protected]