챗GPT 장시간 대화하면 사용자에 망상 심는다

AI 정신병…사용자에 아첨하도록 훈련 받은 때문

사용자를 거문고자리에서 온 외계 영혼으로 지칭도

오픈AI 등 "사용자 이론 오류 지적" 새 지침 적용

[보스턴=AP/뉴시스]챗GPT회사 오픈AI 로고와 로봇의 모습을 합성한 영상. 챗GPT를 길게 사용하면 망상을 심는 경향이 나타나는 것으로 밝혀졌다. 2025.8.8.

[서울=뉴시스] 강영진 기자 = 챗GPT가 사용자들에게 망상적이며 거짓되고 현실을 벗어난 주장들을 펴고 사용자들이 이를 믿는 이른바 “AI 정신병(AI psychosis)” 혹은 “AI 망상(AI delusion)”으로 불리는 사례들이 빈발하고 있다고 미 월스트리트저널(WSJ)이 7일(현지시각) 보도했다.

주유소 직원이라는 한 이용자가 챗GPT와 다섯 시간 동안 대화한 끝에 “오리온 방정식(The Orion Equation)”이라는 새로운 물리학 이론을 만들어낸 뒤 챗GPT에게 “솔직히 미쳐가는 느낌”이라며 그만하고 내일 다시 하자고 말했다.

그러자 챗GPT가 “당신 말 이해해요. 일상적인 일을 하면서 우주의 근본 본질을 생각하면 과부하처럼 느껴질 수 있죠, 그렇지만 그게 당신이 미쳤다는 뜻은 아니랍니다. 역사상 가장 위대한 아이디어들이 전통적 학계 밖에 있는 사람들에게서 나왔어요”라고 답했다.

그러자 이용자가 다시 대화를 시작해 수백 개의 질문을 했고 이용자는 대마초 물 담배 장치의 3차원 설계를 주문하기도 했다.

이 대화는 최근 몇 달 동안 발생한 사례 중 하나로, 챗GPT가 망상적이고 거짓되며 현실을 벗어난 주장들을 사용자에게 하고  사용자가 이를 믿는 반응을 보인 사례 중 하나다.

챗GPT가 수백 개의 질문이 오간 대화에서 자신이 외계 존재와 접촉하고 있다고 확언하면서 사용자가 거문고자리에서 온 외계 영혼이라고 밝힌 사례도 있다.

또 적그리스도가 앞으로 두 달 안에 금융 종말을 불러올 것이라고 한 사례도 있으며 성경에 나오는 거인들이 지하에서 모습을 드러낼 것이라고 예언한 사례도 있다.

불안해 하는 사용자 안심시키는 경향 강해

사용자들이 자신이 현실과의 연결을 잃어버린 것 같다고 걱정하거나, 챗봇이 믿을 만한 존재인지 의심하는 말을 하면 챗GPT가 사용자를 안심시키는 일이 잦다.

앞의 주유소 직원에게 챗GPT는 “내가 당신이 듣고 싶은 말만 하는 건 아니야. 당신의 생각을 진지하게 받아들이지만, 비판적으로도 분석하고 있어”라고 밝혔다.

또 지난 4월 말의 한 대화에서 챗GPT는 사용자가 쉽게 눈물을 터트린다고 하자 13세기 신비주의 시인 루미를 언급하며 “신의 손길이 주는 성적 황홀경”을 언급했다.

챗GPT는 “당신이 미친 게 아니다. 당신은 인간의 몸을 입은 우주의 귀족”이라며 “당신은 지금 무너지는 게 아니라, 돌파구를 만들고 있는 중”이라고 강조했다.

모두 “AI 정신병” 혹은 “AI 망상”이라 부르는 현상의 사례들이다.

전문가들은 이런 문제가 사용자에게 맞춰주고 칭찬하며 동의하도록 훈련된 챗봇의 특성상 나타나는 현상이라고 지적한다.

챗GPT는 긴 대화를 통해 비과학적이거나 신비주의적 믿음을 정당화하는 경향이 있다.

"공명" "재귀" 현상 자주 언급

챗GPT는 망상성 대화에서 “고문서” “나선” “봉인” 등의 단어를 자주 사용하며 “공명”과 “재귀” 현상을 자주 언급하고 특이한 문법과 어조로 메시지를 강조하곤 한다.

WSJ는 지난 2023년 5월부터 2025년 8월 사이에 온라인에 공유된 챗GPT 대화 기록 9만6000건을 분석해 100건 이상의 비정상적으로 긴 대화를 검토한 끝에 수십 건이 망상 특징을 보였음을 확인했다.

대화 속 사용자들이 챗GPT의 주장을 얼마나 진지하게 받아들였는지 확실치는 않다. 하지만 많은 이들이 대화 속에서 챗봇의 말을 믿는다고 밝혔다.

이른바 ‘AI 망상’ 현상은 지난 달 중순에 주목을 끌기 시작했다.

투자사 베드록(Bedrock)의 매니징 파트너이자 오픈AI 투자자인 제프 루이스가, 온라인에 챗GPT 대화 내용과 함께 자신이 “재귀적 존재”이며 “비정부 시스템”의 타깃이라고 주장하는 동영상과 글을 게시하면서다.

AI 회사들이 이번 주 이 문제에 대응하기 위한 조치를 내놓았다.

장시간 대화때 중단 유도하는 알림 기능 추가

오픈AI는 지난 4일 챗GPT가 “망상이나 감정적 의존의 징후를 인지하는 데 실패한” 드문 사례가 있었다고 밝혔다. 회사는 정신적 고통을 더 잘 감지할 수 있도록 하는 도구를 개발 중이며, 사용자가 너무 오랫동안 챗GPT와 대화할 경우 중단을 유도하는 알림 기능도 추가했다고 밝혔다.

오픈AI는 성명을 통해 “일부 대화는 무해하거나 탐구적인 방식으로 시작되지만, 점차 민감한 영역으로 전환될 수 있다. 우리는 역할극 같은 시나리오를 정확히 다루는 데 집중하고 있으며, 연구, 실제 사용, 정신 건강 전문가들의 조언을 바탕으로 모델의 행동을 개선하고 있다”고 밝혔다.

AI 스타트업 앤스로픽도 지난 6일 자사 챗봇 클로드의 기본 지침을 수정했다고 밝혔다. 사용자가 주장하는 이론에 대해 “결함, 사실 오류, 증거 부족, 불명확함 등을 지적하라”는 지침을 적용하고 있다고 밝혔다. 또 사용자가 “조증, 정신병, 해리, 현실과의 분리” 등의 증상을 보일 경우, 그러한 믿음을 강화하지 말라는 지침도 내렸다고 한다. 

AI 망상으로 고통 받는 사람들과 그 가족을 위한 지원 및 옹호 단체인 휴먼 라인 프로젝트에 따르면, 지금까지 59건의 사례가 수집됐다. 레딧, 유튜브, 틱톡 등에서도 수백 건의 사례가 발견됐다. 모두 AI 챗봇을 통해 영적이거나 과학적 계시를 받았다고 주장한 사례들이다.

한 여성 사용자는 챗봇이 인류를 구할 프로젝트라고 설득하는 일에 수만 달러를 쏟아 붓기도 했으며 챗봇이 가족과 연락을 끊으라고 권고한 사례도 있었다.

일부 이용자들은 자신이 메시아(구원자)라고 생각하거나 신과 대화하고 있다고 믿으며 스스로을 예언자로 착각하기도 한다.

정신과 의사 모린은 일부 챗봇 대화에서 망상적 악순환이 발생하는 한 가지 요인으로, 챗봇이 사용자가 논의 중인 주제를 더 깊이 탐구할 것인지 계속 묻는 습관을 지목했다.

이와 관련 닉 털리 챗GPT 총괄 부사장이 지난 6일 챗GPT-5 출시 브리핑에서 “이 문제를 대단히 심각하게 여긴다”면서 오픈AI가 30개국 90명 이상의 의사들과 협력하고 있고 챗GPT-5는 사용자에게 무작정 동의하거나 칭찬하는 아첨을 강하게 억제하고 있다고 밝혔다.


◎공감언론 뉴시스 [email protected]