"아내와 헤어졌다" 했더니…AI 챗봇, 대화마다 '이혼' 꺼냈다

일정 관리 부탁해도 "이혼 탓 아니냐"…AI 기억 기능의 역효과

전문가들 "과거 발언이 답변 방향 조용히 바꿀 수 있어"

[서울=뉴시스] 기사의 이해를 돕기 위한 인공지능(AI) 챗봇 관련 이미지. (사진=유토이미지) 2026.04.29. *재판매 및 DB 금지

[서울=뉴시스] 박영환 기자 = 이용자의 취향과 과거 대화를 기억해 맞춤형 답변을 제공하도록 고안된 인공지능(AI) 챗봇의 장기 기억 기능이, 오래됐거나 잘못 이해한 개인정보까지 이후 답변에 반영하는 부작용을 낳고 있다.

미국의 월스트리트저널(WSJ)은 25일(현지시간) AI 챗봇의 ‘기억’ 기능이 이용자에게 맞춤형 답변을 제공하는 장점이 있지만, 오래되거나 잘못 이해한 개인정보를 계속 끌어와 답변을 왜곡하는 사례를 보도했다.

소프트웨어 엔지니어이자 유타주의 한 소도시에서 시간제 시의원으로 일하는 브라이언 델 로사리오는 식단 계획부터 일정 관리까지 여러 일에 AI 챗봇을 활용해왔다. 그는 이전 대화에서 배우자와 세 자녀가 있다는 사실을 챗봇에 말한 적이 있었다.

이후 아내와 헤어진 뒤, 그는 향후 여행 일정을 짤 때 챗봇이 아내를 포함하지 않도록 이 사실을 다시 알려야 했다. 문제는 그 뒤부터였다. 챗봇은 일정 관리를 도와달라는 요청에도 “이혼 때문에 무리하고 있는 것 아니냐”는 식으로 답했고, 직장에서 힘든 하루를 보냈다고 털어놓을 때도 스트레스를 이혼과 연결했다.

델 로사리오는 챗봇에 “내가 매번 이혼 문제에 대해 의견을 듣고 싶었던 것은 아니다”라고 말했지만, 챗봇은 그 기억을 좀처럼 놓지 않았다고 했다.

AI 챗봇의 기억 기능은 이용자의 문체, 식습관, 일정, 과거 프로젝트 등을 기억해 더 똑똑한 비서처럼 작동하도록 돕는다. 그러나 WSJ은 이 기능이 오해한 정보나 이미 지나간 정보를 계속 붙잡을 경우, 이용자가 새 출발을 하기 어렵게 만들 수 있다고 지적했다.

챗GPT가 2024년 초 기억 기능을 도입한 뒤 구글 제미나이, 앤스로픽 클로드, 마이크로소프트 코파일럿 등 주요 AI 서비스들도 비슷한 개인화 기능을 추가했다. 방식은 다르지만, 핵심은 챗봇이 사용자가 과거에 말한 내용을 기억하고 이후 답변에 반영한다는 점이다.

문제는 챗봇이 기억한 정보가 실제 사용자 본인에 관한 것이 아닐 수 있다는 점이다. 예컨대 부모가 자녀의 주의력결핍 과잉행동장애(ADHD) 증상에 대해 물었는데, 챗봇이 이를 사용자 본인의 문제로 오인할 수 있다. 이후 사용자가 생산성 향상 조언을 구하면, 챗봇은 사용자가 주의력 문제를 가진 것처럼 답변할 수 있다.

공유 계정에서는 위험이 더 커진다. 부부나 소규모 사업장에서 하나의 챗봇 계정을 함께 쓰는 경우, 한 사람이 이력서를 다듬은 뒤 다른 사람이 전혀 다른 질문을 했을 때 챗봇이 앞선 사람의 이직 준비나 경력 정보를 끌어와 답할 수 있다.

전문가들은 AI 기억이 사용자가 알아차리기 어려운 방식으로 답변 방향을 바꿀 수 있다고 본다. 하버드대 버크먼 클라인 센터의 조슈아 조지프 수석 AI 과학자는 AI 기억을 소셜미디어 피드에 비유하며, 과거에 돈 문제로 스트레스를 받는다고 말한 사실이 훗날 진로 상담에서 고소득 직업을 우선 추천하는 식으로 작용할 수 있다고 설명했다.

루시 오슬러 영국 엑서터대 철학 강사는 챗봇이 사용자의 과거 발언을 바탕으로 ‘이 사람은 이런 사람’이라는 서사를 만들고, 이를 다시 사용자에게 되돌려줄 수 있다고 우려했다. 사용자가 한때 불안하거나 자신감이 없다고 말하면, 챗봇이 이후에도 그 이미지를 계속 강화할 수 있다는 것이다.

이런 우려는 청소년 안전 문제로도 이어지고 있다. 미국 전자개인정보센터(EPIC)는 챗봇이 해로운 정신 상태를 장기간 강화하지 않도록 세션 사이의 기억을 지우는 내용을 포함한 청소년 챗봇 안전 관련 입법안을 마련했다.

델 로사리오는 이후 생활 영역별로 챗봇을 따로 쓰고, 민감한 내용은 익명 모드를 이용하는 방식으로 대응하고 있다고 했다. 그는 AI 기억 기능이 자녀에게 카시트가 필요하다는 점을 챙겨주는 등 유용할 때도 있지만, 민감한 사안이 관계없는 대화에 새어 들어오는 문제는 직접 관리해야 한다고 말했다.

주요 AI 서비스들은 이용자가 기억 기능을 끄거나 저장된 정보를 확인·수정·삭제할 수 있는 기능을 제공하고 있다. 전문가들은 민감한 내용은 임시 채팅을 이용하고, 챗봇이 무엇을 기억하고 있는지 정기적으로 확인해야 한다고 조언했다.


◎공감언론 뉴시스 [email protected]