현장 AI 과의존 우려에 내부통제 속도… 'AI 훈령' 제정[경찰 AI수사③]

AI 활용 기준 담은 내부 훈령·윤리준칙 제정

환각·편향·고영향 AI 기준 모호…치안 현장 우려

학계 "법적 기준·전문가 검증 체계 선행돼야"

[서울=뉴시스]AI(인공지능)으로 생성한 바디캠 관련 그래픽. 2025.12.17 [email protected]

경찰이 인공지능(AI) 기술을 수사 현장에 본격 도입하고 있다. 수사지원 AI 시스템 구축을 시작으로 전담 조직 신설, 내부망 기반 플랫폼 구축, 훈령 제정까지 속도를 높이는 중이다. 그러나 현장 활용도 저조, 책임 구조 공백, 제도 정비 지연 등 풀어야 할 과제도 적지 않다. 뉴시스는 경찰 AI 수사 체계의 현주소를 세 편에 걸쳐 짚는다.

[서울=뉴시스]최은수 기자 = 경찰이 수사와 대국민 서비스 등 치안 전반에 인공지능(AI) 도입을 확대하면서 수사 현장의 'AI 과의존'과 오판 시 책임 문제를 둘러싼 우려가 커지고 있다. 이에 경찰은 AI를 수사 판단의 보조 수단으로 규정하고 최종 책임은 수사관에게 있음을 명시하는 'AI 훈령' 제정에도 속도를 내고 있다.

16일 뉴시스 취재를 종합하면 경찰청은 현재 AI 활용 기준과 관리 체계를 규범화하는 '경찰청 AI 훈령' 제정을 추진 중이다. 훈령 초안은 마련된 상태로 현재 인권영향평가와 규제심사 등 막바지 절차를 밟고 있다. 훈령에는 AI 활용 원칙과 조직 거버넌스, 사업 및 예산 관리, 위험 관리 기준 등이 폭넓게 담길 예정이다. 핵심은 AI 오판 등 사고 발생 시 '경찰관이 최종적으로 책임을 진다'는 원칙을 명문화하는 것이다.

경찰은 또 수사관들이 실무에서 지켜야 할 일종의 행동 강령인 'AI 윤리준칙' 제정을 병행하고 있다. 챗GPT나 제미나이 등 외부 생성형 AI에 수사 서류나 행정 서류 등 민감한 정보를 그대로 업로드하는 것을 엄격히 지양하고, 불가피하게 업무상 질의가 필요할 경우 반드시 철저한 비식별화(가명 처리)를 거치도록 하는 내용이 담겼다.

경찰이 AI 치안 통제장치 마련을 서두르는 배경에는 AI 도입을 둘러싼 안팎의 우려가 깔려 있다. 지난달 개최된 내부 최고 심의·의결 기구인 국가경찰위원회(국경위) 회의에서도 AI 과의존과 부작용에 대한 공식적인 경고가 쏟아졌다. 위원들은 "업무 수행 과정에서 AI 활용 빈도가 높아질수록 의존 현상이 발생할 가능성이 있고, 문제점이 지적됐을 때 누가 책임을 부담해야 하는지 알 수 없는 상황이 생겨날 수 있다"고  지적했다.

한 위원은 "'매뉴얼의 함정'처럼 AI의 결론에 치중하다 보면 예상치 못한 문제가 발생할 수 있다"며 "질문 방식에 따라 답변이 계속 달라질 수 있는 만큼, 실제 종국적인 판단은 경찰공무원의 책임하에 합리적으로 이루어져야 한다"고 우려했다.

국민들의 불신도 경찰의 고민거리다. 방대한 치안 데이터를 처리하는 과정에서 민감한 개인정보 유출이나 국민 감시 논란이 발생할 수 있다는 우려가 많아서다. 여기에 AI가 그럴듯한 허위 정보를 만들어내는 '환각' 현상이나 알고리즘의 편향성도 수사 근간을 흔들 수 있는 요소로 꼽힌다.

과거 일선 수사관이 챗GPT를 활용했다가 가짜 판례를 인용해 논란이 일었던 '용인동부서 불송치 결정문' 사례처럼 AI의 오판과 과의존이 수사 방향을 왜곡하고 억울한 피해자를 만들 수 있다는 지적이다.

올해 1월 시행된 인공지능기본법상 사람의 생명과 기본권에 중대한 영향을 미치는 '고영향 AI' 기준 자체가 모호해 치안 현장에 혼란을 줄 수 있다는 우려도 나오고 있다.

이에 경찰은 내부 점검을 통해 고영향 AI 해당 여부를 면밀히 들여다보고 있다. 당초 내부 연구에서는 관련 가능성이 있는 과제가 21개로 분류됐다. 이후 과학기술정보통신부의 고영향 AI 판단 가이드라인을 적용하는 과정에서 범죄수사 목적의 생체인식 정보를 활용하는 AI와 관련된 2개 사업이 검토 대상으로 좁혀졌다.

그러나 경찰청 자체 평가 결과 가이드라인 점수 기준(8점)에 미치지 못하는 4점 수준으로 판단돼 고영향 AI에는 해당하지 않는 것으로 보고 있다. 경찰은 과기부 전문가 위원회의 최종 판단에 따라 이행 조치 여부를 결정할 예정이다.

지난해 11월 경찰대학과 한국데이터포렌식학회가 공동 개최한 학술대회 등 학계에서도 AI 수사 도입을 둘러싼 우려가 나왔다. 전문가들은 대규모 언어모델(LLM)을 수사에 활용할 경우 환각 현상과 보안 문제, 프라이버시 등 기술적 제약을 반드시 함께 검토해야 한다고 짚었다.

특히 AI가 분석한 디지털 증거를 실제 수사와 재판에 활용하려면 분석 과정의 근거를 명확히 확인할 수 있도록 뒷받침하는 '법적 기준'과 기술 검증을 담당할 '전문가 체계'가 선행돼야 한다고 강조했다. AI가 수사 효율성을 높이는 유용한 도구지만, 판단 오류 방지와 절차적 투명성 확보가 우선이라는 것이다.

이성엽 고려대 기술경영전문대학원 교수는 "행정기본법상 재량행위에는 AI 활용이 제한된다"며 "경찰 작용은 공권력을 행사하는 '재량행위'의 성격이 강한 만큼, AI가 최종 결정을 내리게 하는 것은 위험하다"고 지적했다.

이어 이 교수는 책임 소재와 관련해 "중요한 기본권에 영향을 미치는 결정에서 AI는 철저히 보조 도구로만 쓰이고 최종 결정은 사람이 해야 한다"면서도 "만약 수사관이 AI 이용 가이드라인을 철저히 준수했음에도 시스템상 문제가 발생했다면, 그 책임을 개인에게 귀결시키는 것은 적절하지 않다"고 덧붙였다.


◎공감언론 뉴시스 [email protected]