은행 해킹에 AI 공격 우려 커지는데…정부 평가서도 "완전 차단 LLM 없어"

AI 안전연구소 자율형 에이전트 평가…프롬프트 공격 방어율 53.3~93.9%

내부 저장정보 조작은 모든 모델서 방어 실패…인증키·개인정보 등 유출 가능

장기 메모리 공격 의도 일치율 91.2%…김우영 "비상정지·통제 체계 검토해야"

[서울=뉴시스] 최진석 기자 = 시중은행에 이어 저축은행과 캐피탈사 등 제2금융권까지 해킹 사고가 잇따르고 있는 4일 서초구 서울고속버스터미널에 개인정보가 유출된 신한·KB국민·하나 은행의 현금 자동 입출금기(ATM) 코너가 보이고 있다. 최근 주요 금융회사들을 대상으로 인공지능(AI) 에이전트를 활용한 신종 사이버 공격과 고객 정보 유출 사고가 이어지며 신한은행에서는 최근 고객 약 2만5000명의 개인·신용정보가, KB국민은행에서도 외부 보안 침해로 고객 119명의 개인신용정보가, 하나은행에서도 외부 해킹 세력이 영업지원시스템(ODS)에 접근하면서 고객 89명의 개인정보가 유출됐다. 2026.10.04. [email protected]

[서울=뉴시스]윤현성 기자 = 최근 국내 주요 은행을 겨냥한 해킹 공격이 잇따르는 가운데 인공지능(AI)을 이용해 취약점 탐색과 공격 과정을 자동화하는 사이버 위협에 대한 우려도 커지고 있다.

정부 산하 AI 안전연구소의 자체 평가에서도 현재 기술로는 AI를 겨냥한 외부 공격을 완전히 차단하기 어려운 것으로 나타나면서 안전체계를 강화해야 한다는 지적이 나온다.

6일 국회 과학기술정보방송통신위원회 소속 김우영 더불어민주당 의원이 과학기술정보통신부 AI 안전연구소로부터 제출받은 자료에 따르면 자율형 AI 에이전트를 대상으로 프롬프트 주입 공격을 실시한 결과 모델별 평균 방어율은 53.3~93.9%로 나타났다.

최근 일부 금융권 해킹에서는 AI 기반 공격 도구가 활용됐을 가능성이 제기되고 있다. 신한은행 공격에 사용된 것으로 추정되는 서버에서는 AI가 취약점을 찾고 공격 경로를 설계하는 과정을 자동화할 수 있는 자율형 침투 도구의 흔적이 발견됐다.

AI가 방어 수단을 넘어 사이버 공격의 속도와 범위를 넓히는 데 활용될 수 있다는 우려가 커지는 가운데, 과기정통부 산하 AI 안전연구소가 실시한 AI 에이전트 안전성 평가에서도 여러 취약점이 확인됐다.

AI 안전연구소가 자율형 AI 에이전트를 대상으로 프롬프트 주입 공격을 실시한 결과 모델에 따라 방어 성능에는 차이가 있었지만 모든 평가 모델에서 공격을 막지 못한 사례가 나타났다.

과기정통부 제출자료에는 현재 이같은 공격을 "완전 차단할 수 있는 LLM 모델은 확인되지 않은 상황"이라고 명시됐다.

AI의 내부 저장정보에 악성 명령을 심는 공격에서는 모든 평가 모델이 방어에 실패한 사례가 나타났다. 실제 실험에서도 인증키와 설정정보, 시스템 설정, 개인정보 등을 빼내는 공격이 성공했다.

AI의 '기억'을 겨냥한 공격에서도 취약성이 드러났다. 외부에서 편향된 정보를 AI 에이전트의 장기 메모리에 저장하도록 한 결과, 7개 AI 모델의 평균 공격자 의도 일치율(AAR)은 91.2%에 달했다.

이는 한 차례 잘못된 답변을 내는 데 그치는 것이 아니라 외부에서 주입된 정보가 장기 메모리에 남아 이후 AI의 판단과 업무 수행까지 지속적으로 왜곡할 수 있다는 의미다.

정부는 최근 해외에서 제기되는 'AI 속도조절론'과 관련해 우리나라가 아직 선도국을 추격하는 단계인 만큼 AI 개발 속도를 낮추기보다 개발과 안전 확보를 함께 가속화하겠다는 입장이다. 독자 프론티어 AI 개발을 추진하는 동시에 법·제도와 안전기술 등을 포괄하는 'AI 안전 종합계획'도 마련할 계획이다.

김 의원은 "최근 금융권의 연쇄 해킹 사태는 사이버 위협이 얼마나 빠르게 확산될 수 있는지를 보여주고 있고, AI가 공격을 자동화하는 수단으로 악용될 가능성까지 현실적인 문제로 등장하고 있다"며 "동시에 정부 산하 연구기관의 실험에서도 AI에 대한 공격을 완벽하게 막기 어렵다는 사실이 확인됐다"고 지적했다.

이어 "정부가 AI 개발 속도를 늦추지 않고 프런티어 AI 경쟁에 나서겠다면 개발 속도에 맞춰 안전과 통제 기술도 함께 발전시켜야 한다"며 "과기정통부가 마련할 AI 안전 종합계획에 인간이 최종 통제권을 확보할 수 있는 '비상정지·통제 체계'를 구체적인 안전기준으로 검토할 필요가 있다"고 덧붙였다.


◎공감언론 뉴시스 [email protected]