"딥페이크 막겠다" 워터마크 의무화했지만 "글쎄"…실효성 논란 여전

과방위원장 "딥페이크, 사람이 한 눈에 알 수 있도록 표시해야"

워터마크 무력화 기술 확산에 실효성 의문도 "99% 제거 관찰돼"

인간-AI 협업 작품 증가하는데…표시 기준 애매

[그래픽=뉴시스] 재판매 및 DB금지. [email protected]

[서울=뉴시스]오동현 기자 = "이건 진짜일까, 가짜일까?" 최근 소셜미디어에서 한 정치인의 연설 영상을 본 네티즌들의 반응이다. 너무나 자연스러운 목소리와 표정이지만 실제로는 존재하지 않는 발언이었다. 생성형 AI가 만들어낸 딥페이크였던 것이다.

지난 13일 국회 과학기술정보방송통신위원회 국정감사에 현장에서도 딥페이크 영상이 시연됐다. 주식 차명거래 의혹으로 수사를 받고 있는 이춘석 전 국회 법제사법위원장과 배경훈 과학기술정보통신부 장관 겸 부총리 사이에서 모종의 거래가 있는 것처럼 꾸민 녹취 음성이 송출됐다. 야당에서는 딥페이크 위험성을 알리기 위한 취지였다고 밝혔지만, 실제 인물을 특정해 논란이 됐다.

이런 혼란을 막기 위해 정부가 도입하는 것이 바로 'AI 결과물 표시의무제'다. 지난 9월 8일 과학기술정보통신부가 공개한 'AI 기본법' 시행령 초안의 핵심이기도 하다. 생성형 AI가 만든 모든 콘텐츠에 "AI가 만들었다"는 표시를 의무화하겠다는 것이다.

하지만 내년 1월 시행을 앞두고 AI 결과물 표시의무제를 둘러싼 현실적인 걸림돌과 식별 주체에 대한 논란이 만만치 않다.

"딥페이크, 사람이 한 눈에 알 수 있어야"

국회 과학기술정보방송통신위원회 국정감사에서 과방위원들은 가짜뉴스와 정치적 허위 선동 등에 AI가 악용될 수 있다고 목소리를 높였다. 배경훈 부총리 겸 과기정통부 장관도 "(AI가) 악용되는 것에 대한 걱정이 있다"고 우려를 표했다.

최민희 과방위원장은 "사람이 봤을 때 '이건 AI가 만든 거구나' 알게 해야 한다"며 "AI 투명성 부분에 대해 과기정통부가 더 깊이 고민해야 한다"고 촉구했다. 특히 "(AI 창작물) 기준을 기계가 판독할 수 있는 것을 기준으로 한 게 말이 되나. 각종 딥페이크에 대해 피해를 보는 건 기계가 아니라 사람"이라며 "기계가 아닌 사람이 판독할 수 있어야 한다"고 주장했다.

류제명 과기정통부 제2차관은 "(AI 창작물에) 워터마크를 표시하도록 했다. 워터마크 표시 방법은 여러 기술적으로 업계 부담을 최소화하는 방향, 소비자를 보호하는 점을 고려해서 기준을 세웠다"고 설명했다. 최 과방위원장의 지적에는 "검토하겠다"고 답했다.

AI 결과물 표시 방식은

AI 결과물 표시의무제는 생성형 AI로 만든 콘텐츠임을 명시적으로 표시하도록 법적으로 의무화하는 제도다. AI 기본법 제31조에 따르면 AI사업자는 생성형 AI의 결과물임을 표시해야 하며, 특히 딥페이크 같은 실제와 구분하기 어려운 콘텐츠의 경우 이용자가 명확히 인식할 수 있는 방식으로 고지·표시해야 한다.

이미지는 로고나 텍스트 형태의 가시적 워터마크와 전용 기술을 활용한 비가시적 워터마크 모두 가능하다. 동영상 역시 같은 방식으로 워터마크를 적용하되 전체 영상에 표시할 필요는 없고, 오디오는 재생 초반 음성 안내나 비가청 워터마크 기술을 쓸 수 있다. 텍스트는 챗봇 등의 대화창에서 AI 생성물임을 표시하도록 했다.

[세종=뉴시스] 강종민 기자 = 13일 세종시 정부세종청사에서 열린 국회 과학기술정보방송통신위원회의 과학기술정보통신부에 대한 국정감사에서 배경훈 부총리 겸 과기정통부 장관이 업무보고를 하고 있다. 2025.10.13. [email protected]

워터마크 무력화 기술 확산에 실효성 의문도

하지만 가장 큰 문제는 워터마크 기술 자체의 불완전성이다.

디지털경제연구원이 발간한 'AI 결과물 표시의무제, 해외 동향과 시사점' 보고서에 따르면, 현재 인터넷상에는 워터마크를 제거하거나 변조할 수 있는 상용 도구들이 널리 유통되고 있으며, 삽입된 식별 정보가 쉽게 삭제 가능한 상황이다.

더 심각한 문제는 GAN(생성적 적대 신경망) 기술로 이미지별 워터마크 위치를 학습한 후 제거하는 방법이 개발되고 있다는 점이다. 이보다 뛰어난 VWGAN(Very Weak GAN) 방식은 기존보다 약 20% 높은 제거 성능이 확인되기도 했다. 눈에 보이지 않게 숨겨진 워터마크도 랜덤 노이즈 삽입, JPEG 압축 등으로 지워버릴 수 있다. RivaGAN이라는 방식에서는 재생성 공격을 통해 93~99% 제거가 관찰됐다.

노재인 디지털경제연구원 연구위원은 "AI 결과물 표시 기술은 콘텐츠 유형에 따라 각기 다른 기술이 요구되며, 워터마크 제거 기술 등 반(反)기술이 발전하고 있어 실효성에 대한 의문이 큰 상황"이라고 지적했다.

인간-AI 협업 작품 증가, 표시 기준 애매

또 다른 걸림돌은 사람과 AI가 함께 만든 콘텐츠의 경우다. 정부는 '생성형 AI 활용 저작물의 저작권 등록 안내서'를 통해 인간의 창작적 개입이 있는 'GAI 활용 저작물'과 순수한 AI 생성물인 'GAI 산출물'로 구분했지만, 실무에서는 여전히 판단이 어려운 경우가 많다.

단순한 프롬프트 입력이나 사소한 수정은 창작적 기여로 인정되지 않지만, 어디까지가 '창작적 기여'인지에 대한 명확한 기준이 없어 혼란이 예상된다. 특히 음악이나 영상처럼 복합적인 표현이 요구되는 장르에서는 인간의 창작 개입 정도가 등록 가능성을 가르는 핵심 요소지만, 구체적인 판단 기준은 여전히 모호하다.

노재인 연구위원은 "AI 생성물과 인간 창작물이 혼합된 경우처럼, 부분적 AI 활용이나 복합적 창작물이 늘어나면서 식별이 곤란한 사례가 늘어나고 있다"고 설명했다.


◎공감언론 뉴시스 [email protected]