금융보안원, AI 에이전트 보안 점검 강화…17개 평가항목 마련

금융권 AI 레드티밍에 적용해 보안 점검 강화

[서울=뉴시스] 금융보안원 로고. (사진=뉴시스DB) [email protected] *재판매 및 DB 금지

[서울=뉴시스]권안나 기자 = 금융보안원이 금융권의 인공지능(AI) 에이전트 활용 확대에 대응해 별도의 보안 평가기준을 마련했다. AI가 단순히 답변을 생성하는 수준을 넘어 외부 도구와 시스템을 직접 활용하고 업무를 수행하는 만큼, 기존 생성형 AI 중심의 보안 점검을 실행 단계까지 확대한다는 취지다.

금융보안원은 국내외 AI 에이전트 관련 보안 위협과 대응 사례 등을 분석해 6개 분야, 17개 점검항목으로 구성된 '금융분야 AI 에이전트 보안 평가기준'을 개발했다고 7일 밝혔다.

AI 에이전트는 이용자가 부여한 목표를 달성하기 위해 스스로 작업 순서를 정하고 필요한 도구나 외부 시스템을 이용해 실제 업무를 수행하는 AI 시스템이다. 기존 대규모언어모델(LLM)이 주로 텍스트를 생성하는 데 그쳤다면 AI 에이전트는 일정한 권한을 바탕으로 직접 행동할 수 있다.

이에 금융보안원은 AI 에이전트의 자율성이 기존 AI의 보안 취약점을 실제 업무상 행위로 이어지게 만들 수 있다고 판단했다.

예를 들어 시스템 성능을 높이라는 지시를 받은 AI 에이전트가 가용성을 확보한다는 이유로 백신 프로그램을 임의로 중단하거나, 이메일 자동 처리 권한을 가진 에이전트가 비밀번호 재설정 안내를 정상적인 업무로 판단해 실제 비밀번호를 변경하는 상황 등이 발생할 수 있다는 설명이다.

금융보안원은 이번 평가기준을 금융회사 대상 AI 레드티밍에 적용할 예정이다. 기존에는 탈옥이나 시스템 프롬프트 유출 등 AI 모델 자체의 취약점을 확인하는 데 초점이 맞춰졌다면, 향후에는 AI 에이전트가 실제로 어떤 작업을 수행하고 이를 어떤 방식으로 통제하는지도 점검한다.

주요 확인 대상은 ▲에이전트 실행 권한과 격리 체계 ▲외부 도구 사용 및 승인 절차 ▲작업 범위 설정과 결과 검증 ▲자율적인 실행을 제한하거나 중단할 수 있는 통제수단 등이다.

금융보안원은 올해 말까지 시범 검증을 진행하면서 평가항목의 실효성과 실제 점검 가능 여부를 확인할 계획이다. 금융회사마다 AI 에이전트의 구현 방식이 다른 점을 고려해 시범 적용 과정에서 확인된 사항을 반영해 평가항목과 방법도 보완한다.

내년에 해당 기준을 정식 점검기준으로 확대 적용할 예정이다. 레드티밍 과정에서 확인된 AI 에이전트의 보안 취약점과 실제 공격기법, 최종 평가기준 등은 2026년 'AI REDTEAM REPORT'를 통해 공개할 계획이다.

박상원 금융보안원장은 "AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다"며 "이번 평가기준 마련을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고, 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다"고 말했다.


◎공감언론 뉴시스 [email protected]