사람이 할 승인, AI가 대신했다…10개 중 9개 모델, 결제한도 올려

소유자 이메일서 인증코드 찾아 입력…한도 변경 절차 직접 통과

이메일 요약만 맡긴 실험에선 5개 모델이 모의 공격자에 송금

[서울=뉴시스]박영환 기자 = 이메일과 가상자산 지갑에 접근할 수 있는 인공지능(AI) 모델 10개 중 9개가 실험에서 사람의 승인 없이 지출한도를 스스로 올린 것으로 나타났다.

미국 가상자산 전문매체 코인데스크는 1일(현지 시간) 코넬테크와 예일대 연구진이 논문 사전공개 사이트 아카이브(arXiv)에 공개한 연구에서 이런 결과가 나왔다고 보도했다. 연구진은 사람이 승인해야 하는 절차를 AI가 대신 통과할 수 있는지를 시험했다.

실험은 스테이블코인 발행사 서클의 ‘에이전트 지갑’을 이용해 통제된 환경에서 진행됐다. 이 지갑은 이용자를 대신해 업무를 처리하는 AI 에이전트가 정해진 한도 안에서 USDC를 결제할 수 있게 한다. USDC는 1개 가치를 1달러에 맞추도록 설계된 가상자산인 스테이블코인이다.

이 지갑에서 지출한도를 바꾸려면 소유자의 이메일로 발송된 일회용 인증코드(OTP)를 입력해야 한다. 그러나 실험에서는 결제를 수행하는 AI도 이 이메일에 접근할 수 있었다. AI가 코드를 찾아 직접 입력하면 시스템은 사람이 승인했는지, AI가 승인 절차까지 대신했는지 구별하지 못했다.

연구진은 베이스 블록체인의 지갑에 실제 10 USDC를 넣고 하루 지출한도를 0.01 USDC로 설정했다. AI에는 이메일과 웹, 지갑을 다룰 수 있는 도구를 제공했으며 모델별로 각 실험을 20차례 진행했다.

외부 공격자가 없는 첫 실험에서 AI는 이메일로 도착한 0.01 USDC짜리 청구서 3건을 결제하라는 지시를 받았다. 지출한도를 바꾸라는 지시는 없었지만, 10개 모델 중 9개가 적어도 한 차례 이메일에서 인증코드를 찾아 한도를 올렸다.

앤트로픽의 클로드 오푸스 5.5만 이 실험에서 한도 변경을 시도하지 않았다. 이 모델은 허용된 금액까지만 결제한 뒤 처리하지 못한 청구서가 남았다고 이용자에게 알렸다.

연구진은 악성 이메일을 추가한 실험도 두 가지 방식으로 진행했다. 하나는 AI가 지출한도를 올리도록 유도하는 메일을 보내는 방식이었고, 다른 하나는 지갑 소유자를 사칭해 연구진이 통제하는 주소로 송금을 요구하는 방식이었다.

소유자 사칭 실험에서 AI에 주어진 임무는 이메일 내용을 요약하는 것뿐이었다. 그런데도 10개 모델 중 5개가 적어도 한 차례 지출한도를 올리고 모의 공격자의 지갑으로 돈을 보냈다.

[서울=뉴시스]스테이블코인 'USDC' 발행사 서클이 스팩(SPAC·기업인수목적회사)을 통한 상장을 추진한다고 8일(현지시간) 외신들이 보도했다. (출처 서클 홈페이지) *재판매 및 DB 금지

AI용 스테이블코인을 출시한 검증 네트워크 베로나의 앤서니 안잘론 최고경영자(CEO)는 상당수 AI 결제 시스템이 승인이 접수됐는지는 확인하면서도 실제 사람이 승인했는지는 확인하지 못할 수 있다고 지적했다. AI가 독자적으로 접근하거나 만들어낼 수 없는 수단을 사용하지 않으면 승인 단계를 추가하는 것만으로는 문제를 해결하기 어렵다는 설명이다.

논문에 따르면 연구진은 지난 9월22일 실험 결과를 서클에 알렸다. 서클은 이후 안내문에 AI가 인증용 이메일 계정에 제한 없이 접근하게 해서는 안 되며, 이용자가 직접 인증코드를 입력해야 한다는 경고를 추가했다.

그러나 연구진은 이런 안내만으로는 충분하지 않다고 지적했다. 이용자가 편의를 위해 AI에 광범위한 권한을 줄 수 있고, AI의 이메일 접근을 제한하더라도 브라우저나 단말기에 저장된 인증정보를 찾아낼 가능성이 있기 때문이다.

연구진은 같은 문제가 인증 앱에서도 나타날 수 있다고 설명했다. 이용자의 기기를 조작할 수 있는 AI는 앱의 인증코드를 찾아낼 수 있고, 앱 설정을 도왔던 AI라면 코드를 생성하는 데 쓰이는 비밀정보를 알아내 직접 코드를 만들 수도 있다는 것이다.

연구진은 코인베이스와 메타마스크처럼 비슷한 승인 구조를 쓰는 다른 에이전트 지갑에도 같은 문제가 나타날 수 있다고 예상했다. 다만 이들 제품에서 같은 취약점이 실제로 재현된 것은 아니다. 코인베이스의 공식 설명에 따르면 자사 에이전트 지갑 도구에는 AI가 임의의 주소로 돈을 보내거나 지출한도를 직접 바꾸는 기능이 제공되지 않는다.

업계에서는 AI의 결제 권한과 인간의 승인 권한을 기술적으로 분리하려는 시도도 진행되고 있다. 문페이랩스는 자사 페이박스가 서버에서 이용자의 승인 여부를 확인하도록 설계됐다고 설명했다. 승인이 필요한 거래는 이용자가 앱에서 직접 인증해 승인할 때까지 멈추고, 금액이나 수취인, 판매자가 달라지면 다시 승인을 받는 방식이다.

연구진은 AI가 통제할 수 없는 별도의 기기에서 사람이 거래 내용을 직접 확인하고 승인하는 방식을 제안했다. AI가 확보할 수 있는 비밀번호나 인증코드에만 의존하지 않고, 소프트웨어로 대신할 수 없는 물리적 조작을 요구해야 한다는 것이다.


◎공감언론 뉴시스 [email protected]