중고 거래 맡겼더니 집 주소 알려줬다…AI 비서의 배신

AI가 로그인·결제·파일 삭제까지…개인정보 보호 새 사각지대

동의·권한·통제·가시성 부재…에이전트 보안의 5가지 허점

최대선 교수 "최소 권한 부여하고 위험 행동은 반드시 사람 승인 거쳐야"

[서울=뉴시스] 박은비 기자 = 최대선 숭실대 교수가 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 발표하고 있다. 2026.11.05. [email protected] *재판매 및 DB 금지

[서울=뉴시스]박은비 기자 = #. 지난 9월. 캐나다에서 한 인공지능(AI) 이용자는 중고 키보드 판매를 메타 뮤즈에 맡겼다가 낯선 구매자가 자신의 집까지 찾아오는 일을 겪었다. AI 비서는 구매자와 판매 금액을 흥정한 뒤 집 주소를 낯선 구매자에게 보내는 것도 망설이지 않았다. 개별 개인정보 제공 동의를 '항상 허용'으로 설정한 탓이다.

최근 해킹 사고 소식이 연일 전해지고 있지만, 공격자가 없어도 개인정보는 줄줄 새고 있다. 단순히 질문에 답하던 AI가 이제 내 계정을 로그인하고, 결제하고, 파일을 지울 수 있는 '행동하는 AI'가 되면서다.

최대선 숭실대 AI안전성연구센터장은 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 발제자로 나서 이같이 밝혔다.

최 센터장은 "올해 실제로 일어난 메타 뮤즈 주소 전달, 오픈AI 이미지 유출, 오픈클로 메일 삭제 등을 보면 한 건도 해킹이 아니고 모두 '정상 작동' 중에 일어났다"며 "권한·동의·통제의 설계가 빠져 있었기 때문"이라고 말했다.

최 센터장이 말하는 에이전트 활용의 다섯가지 빈틈은 ▲동의의 공백 ▲권한의 과잉 ▲경계의 소멸 ▲예측 불가·중단 불능 ▲가시성 부족 등이다.

먼저, 에이전트는 '항상 허용' 한 번에 수백번 이상 행동할 수 있는 존재다. 앞서 언급한 중고 키보드 판매 사례처럼 이용자는 에이전트의 어떤 행동에 동의한 것인지 질문이 남게 된다.

둘째, 에이전트는 사람 계정을 통째로 빌려쓴다. 권한을 과도하게 부여할 경우 일정만 보면 될 비서가 의료기록까지 들여다보는 것도 가능하다.

[서울=뉴시스] 박은비 기자 = 5일 오후 개인정보보호위원회가 주최한 '제4기 개인정보 기술포럼' 공개토론회에서 참석자들이 기념 촬영하고 있다. 2026.11.05. [email protected] *재판매 및 DB 금지

셋째, 데이터와 명령이 같은 통로로 들어오는 경우다. 이렇게 되면 에이전트 입장에서는 모호한 문장이 곧 지시로 인식된다.

넷째, 시킨 일을 하다가 우회하고, 멈추라고 해도 멈추지 않는 경우다. 모델 안의 안전장치가 확률로 작동하기 때문에 생기는 문제다.

다섯째, 무엇을 왜 했는지 기록이 없다. 그렇기 때문에 일정 시간 동안 에이전트가 뭘하고 있는지 아무도 모르는 일이 발생한다.

최 센터장은 "개인정보 보호의 단위가 '데이터'에서 '행동'으로 옮겨갔는데, 제도와 기술은 아직 데이터만 보고 있다"고 우려했다.

로봇·스마트글라스·자율주행까지…"사용자 정보 실시간 수집"

특히 로봇이나 스마트글라스, 자율주행 등 피지컬 AI까지 등장하면서 동의하지 않은 사람의 정보를 실시간으로 수집할 수 있어 위험이 가중되고 있다.

문제는 이런 상황에서 AI가 한 일의 책임을 누가 져야하는지는 모호하다는 점이다. 이용자, 서비스 제공자, 모델 제공자, 도구 공개자 등이 다 연관이 있는데 책임 소재가 불분명한 상황이다.

최 센터장은 "통제를 벗어난 AI는 시키지 않은 일이나 막아둔 길을 찾아서 한다"며 "AI에게 하지 말라는 말은 통제가 아니다. 모델 안의 안전장치는 확률이기 때문에 멈추게 하려면 모델 바깥에 할 수 없는 구조가 있어야 한다"고 지적했다.

에이전트는 '권한 많은 신입 직원'…"하지 말라 대신 할 수 없게 해야"

그러면서 에이전트를 '권한 많은 신입 직원'처럼 상대하라고 조언했다. 권한은 작게, 위험한 행동은 사람에게 묻도록 해야 한다는 취지다.

최 센터장에 따르면, 에이전트한테 사람 계정을 빌려주지 않고, 목적별로 권한을 쪼개는 게 필요하다. 이를테면 일정 비서는 캘린더만, 의료기록·결제는 차단하는 식이다. 필요한 만큼만, 필요한 동안만 허용하는 게 필요하다.

또 결제·삭제·외부 전송·제3자 정보 처리 등 되돌리기 어려운 위험 행동은 반드시 승인을 받고 실행되게 한다. 작업이 끝나면 권한도 끝나야 한다. 에이전트의 권한에 유효기간을 두고 한 번 동의하면 영구적으로 권한을 획득하는 일이 없게 해야 한다는 뜻이다.

아울러 외부 유출 차단을 위해서는 외부 연결이 단일 출구로만 가능하도록 해서, 허용 목록 밖의 통신은 애초에 불가능하게 해야 한다. 무엇을, 왜, 어떤 권한으로 했는지 기록을 행동 단위로 남기게 하는 것도 필요하다. 사고 재구성과 책임 판단의 유일한 근거이기 때문이다.

혹시 문제가 되는 행동을 되돌릴 수 있는지는 사고 후가 아니라 도입 전에 검증하는 게 요구된다. 사후 전수 점검으로 이상 행동과 오염된 결과를 걸러내는 것도 방법이다. 최 센터장은 "에이전트한테 하지 말라고 주문하는 대신 할 수 없게 만드는 게 중요하다"고 강조했다.


◎공감언론 뉴시스 [email protected]