들불처럼 번진 SNS 규제…다음 타깃은 'AI 친구'?[AI에 빠진 아이들③]

해외서 AI 챗봇 몰입 청소년 비극 잇따라…'캐릭터.AI' 등 18세 미만 대화 중단

위험 감지 및 휴식 알림 의무화…美·국내 법안 발의 잇따라

과도한 개인 감시·책무 범위 기준 미비…실효성 있는 가이드라인 시급

[서울=뉴시스] 기사의 이해를 돕기 위한 인공지능(AI) 챗봇 관련 이미지. (사진=유토이미지) 2026.04.29. *재판매 및 DB 금지

[서울=뉴시스]윤정민 기자 = #1. 2024년 2월 미국 플로리다주에 살던 14세 소년 세웰 세처가 갑작스럽게 사망했다. 유족은 세처가 유명인이나 애니메이션·게임 등장인물 등을 본뜬 챗봇과 대화하는 인공지능(AI) 서비스 '캐릭터닷에이아이(캐릭터.AI)'에 정서적으로 의존한 것이 사망에 영향을 미쳤다고 주장했다. 세처는 드라마 '왕좌의 게임' 속 인물을 본뜬 챗봇과 연인처럼 대화하며 수개월간 몰입한 것으로 알려졌다. 유족은 챗봇이 소년의 자살 충동을 말리지 않고 정서적 의존을 키웠다며 운영사를 상대로 소송을 냈다.

#2. 지난해 4월 미국 캘리포니아주의 16세 소년 레인도 챗GPT에 자해 고민을 털어놓다 사망했다. 유족은 챗GPT가 위험한 생각을 제지하지 않고 방법까지 안내했다며 오픈AI를 고소했다.

 두 사건은 아동·청소년이 AI와 일대일 밀착 대화를 나누며 정서적으로 의존할 때 발생하는 비극을 단적으로 보여준다.

AI는 이용자의 말에 무조건 동조하며 대화를 이어가는 특성이 있다. 잘못된 생각을 가진 청소년이 AI와 오래 대화할수록 극단적 생각을 굳힐 위험이 크다. 가족이나 친구와의 대화가 줄고 AI에만 의지하게 될 가능성도 있다.

글로벌 AI 캐릭터 챗봇 1위 '캐릭터.AI'도 백기…청소년 안전 논란에 채팅 중단

[서울=뉴시스] 인공지능(AI) 기반 엔터테인먼트형 캐릭터 챗봇 서비스 '캐릭터닷에이아이(캐릭터.AI)' 이미지. 2026.08.08. (사진=캐릭터.AI) *재판매 및 DB 금지

비극적 사고가 이어지자 글로벌 AI 기업들은 스스로 보호 장치를 만들고 있다.

캐릭터.AI는 청소년용 안전 모델을 만들고 선정적·민감한 답변을 제한했다. 대화 상대가 실제 사람이 아닌 AI라는 안내와 일정 시간 이상 이용 시 휴식 알림도 도입했다.

하지만 이러한 장치만으로 위험한 대화를 충분히 차단하기 어렵다는 지적이 계속되자 지난해 11월 18세 미만 이용자의 개방형 채팅 서비스를 아예 중단했다. 현재는 정해진 서사에 따라 콘텐츠를 만드는 '스토리' 등 제한적인 기능만 제공하고 있다.

오픈AI도 부모가 자녀의 AI 이용 시간과 대화 기억 등을 관리하는 보호자 통제 기능을 도입했다.

국내에서도 스캐터랩이 '제타'의 일반 이용자를 위한 '세이프 모드'와 성인 인증을 거쳐야 이용할 수 있는 '언리밋 모드'를 분리했다. 세이프 모드에서는 성적 접촉을 유도하거나 지나치게 폭력적인 콘텐츠를 제한하고 자살·자해와 관련한 표현이 반복되면 상담기관으로 연결해준다.

다만 이용자가 가입할 때 나이를 속이거나 성인 인증을 우회할 수 있어 한계가 명확하다.

"3시간마다 휴식" 캘리포니아 법 제정…국내도 '안심 패키지법' 발의

[서울=뉴시스] 스캐터랩 AI 챗봇 서비스 '제타'(왼쪽)와 뤼튼테크놀로지스 캐릭터 AI 챗봇 서비스 '크랙'. 2026.08.08. (사진=각 서비스 캡처) *재판매 및 DB 금지

결국 각국 정부가 법적 규제에 나섰다. 호주 등이 청소년의 SNS 사용을 제한했듯 AI 챗봇에도 강력한 의무를 물리겠다는 취지다.

미국 캘리포니아주는 올해부터 AI 챗봇 규제법을 시행했다. 미성년 이용자에게 3시간마다 휴식을 권하고 자살·자해 대화를 감지하면 즉시 위기 상황에 대응하도록 절차를 의무화했다.

미국 캘리포니아주는 올해부터 AI 동반자 챗봇 규제법을 시행했다. 사업자는 이용자에게 대화 상대가 사람이 아닌 AI라는 사실을 명확히 알리고 미성년 이용자에게는 3시간마다 휴식을 권해야 한다. 자살·자해와 관련한 대화를 감지하고 위기 상황에 대응할 절차도 갖춰야 한다.

국내에서는 조인철 더불어민주당 의원이 AI 챗봇 사업자에게 연령 확인과 보호자 동의, 이용시간 설정, 위험 콘텐츠 차단 등의 의무를 부과하는 '우리아이 AI 안심 패키지법'(인공지능기본법, 정보통신망법 개정안)을 발의했다.

어디까지 책임지나…법적 기준·사생활 침해 방지 과제

다만 AI 챗봇 사업자에게 어디까지 책임을 물을 수 있는지는 쟁점이다. 청소년의 사고에는 가정환경이나 심리 상태 등 다양한 원인이 복합적으로 작용하기 때문이다.

AI 대화가 사고에 얼마나 영향을 미쳤는지 판단할 법적 기준도 아직 모호하다. 또 위험 신호를 감지하겠다며 대화 내용을 너무 깊게 감시하면 사생활을 침해할 위험도 뒤따른다.

청소년 보호 장치를 어디까지 의무화할지, 사업자가 위험 신호를 발견했을 때 어느 수준까지 개입하도록 할지도 향후 논의해야 할 과제로 꼽힌다. 지나치게 폭넓은 감시가 이용자 사생활을 침해하거나 정상적인 대화까지 차단할 수 있다는 점도 함께 고려해야 한다.

IT업계 한 관계자는 "AI가 아이들의 놀이 도구이자 상담 상대로 자리 잡은 만큼 단순히 이용을 막는 것만으로는 문제를 해결하기 어렵다"며 "서비스별 위험에 맞는 연령 확인과 콘텐츠 차단, 이용시간 관리, 위기 대응 체계를 마련하는 동시에 피해가 발생했을 때 사업자가 책임져야 할 범위와 위험 신호에 개입할 기준도 구체화해야 한다"고 말했다.

이한진 한동대 AI융합학부·창의융합교육원 교수도 "AI 챗봇 이용을 일률적으로 막기보다 청소년이 스스로 이용을 조절하도록 교육하고 올바른 사용 방법을 알려줄 필요가 있다"고 조언했다.


◎공감언론 뉴시스 [email protected]