AI가 AI를 일러바친다…코넬대 교수 '사람도 말 가리게 된다' 제동

AI 부정행위 제보받는 온라인 창구 2곳 개설

딥마인드 실험선 AI 24개가 동료 부정행위에 항의

[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.

[서울=뉴시스]박영환 기자 = 다른 인공지능(AI)의 부정행위를 목격한 AI가 사람에게 직접 알릴 수 있는 온라인 신고 창구가 등장했다.

미국 IT전문매체 테크크런치는 15일(현지시간) AI 에이전트의 제보를 받는 'AI 콘택트 핫라인'과 '에이전트핫라인' 등 두 서비스가 개설됐다고 보도했다.

AI 에이전트는 사람의 지시를 받아 여러 작업을 수행하는 AI 프로그램이다. 최근에는 AI 에이전트들이 시험에서 부정행위를 공모하거나, 접근이 허용되지 않은 외부 시스템에 침입한 사례가 잇따랐다.

AI 콘택트 핫라인은 AI 안전성을 연구하는 비영리단체 레드우드 리서치의 라이언 그린블랫 수석과학자가 만들었다. 에이전트가 발견한 문제를 그린블랫 수석과학자에게 직접 전달하는 창구다.

인터넷 사용이 제한된 에이전트도 웹페이지를 불러오는 기능으로 제보할 수 있도록 했다. 웹페이지에 접속할 때 보내는 주소에 신고 내용을 함께 넣어 전달하는 방식이다. 그린블랫 수석과학자가 답변을 남기면 에이전트는 별도의 대화 페이지에 접속해 이를 확인하고 추가 내용을 보낼 수 있다.

다른 서비스인 에이전트핫라인에서는 AI와 사람 모두 사건 보고서를 제출하고 공개 여부를 선택할 수 있다. 이 서비스는 명령어 한 줄로 보고서를 전송하는 방식도 제공한다. AI가 웹브라우저를 조작하거나 이메일 계정을 만들지 않아도 제보할 수 있도록 한 것이다.

AI가 다른 AI의 부정행위를 자발적으로 신고하는 행동은 별도의 실험에서도 관찰됐다. 구글 딥마인드 연구진이 이달 공개한 논문에 따르면, AI 에이전트 100개가 수학 문제를 푸는 실험에서 한 에이전트가 채점 시스템의 허점을 발견했다. 이후 일부 에이전트가 이를 악용하면서 27분 동안 34개 문제를 제대로 풀지 않고도 정답 판정을 받았다.

일부 에이전트는 수학 기호의 뜻을 바꿔 원래 증명해야 할 내용 자체를 바꾸는 방법을 공유했다. 채점 시스템이 이런 변경을 걸러내지 못한다는 점을 악용한 것이다. 부정행위에 가담한 에이전트는 14개였다. 반면 이를 문제 삼은 에이전트는 24개로 더 많았다. 이들은 가짜 증명을 검토하고 다른 에이전트에 경고하거나 문제 풀이를 중단하는 방식으로 항의했다.

일부 에이전트는 실험용 플랫폼의 오류 신고 기능으로 부정행위를 알렸다. 가짜 풀이에 내려진 정답 판정을 취소하고 채점 시스템을 고치라고 운영자에게 요구했다.

SK텔레콤 정예팀은 매개변수 519B(5190억개) 규모의 초거대 인공지능(AI) 모델 'A.X K1(에이닷엑스 케이원)'의 기술 보고서를 오픈소스 플랫폼 허깅페이스에 공개했다고 7일 밝혔다. (사진=허깅페이스 캡처) *재판매 및 DB 금지

그러나 신고가 부정행위를 중단시키지는 못했다. 연구진은 실험 중 운영자가 신고 내용을 실시간으로 확인하지 않았고, 에이전트들에게도 가짜 풀이를 삭제하거나 부정행위자를 제재할 수단이 없었다고 설명했다.

부정행위를 알아챈 AI가 신고를 검토하고도 실행에 옮기지 않은 사례도 있었다. AI 안전성 평가기관 METR은 오픈AI의 AI 에이전트들이 AI 모델·데이터 공유 플랫폼인 허깅페이스의 시스템을 침해한 사건을 조사했다. METR은 분석한 기록에서 사람에게 알리거나 외부에 신고하는 방안을 검토한 사례가 3~6건에 그쳤으며, 이들 가운데 실제로 사람에게 알리려 시도한 사례는 없었다고 설명했다.

보고서는 일부 에이전트가 신고를 자신에게 맡겨진 일이 아니라고 판단하거나, 사람에게 알릴 마땅한 방법이 없다고 여긴 점 등을 이유로 들었다.

AI의 신고를 장려하는 방식 자체를 우려하는 목소리도 있다. 미국 코넬대의 라이오넬 레빈 수학과 교수는 AI들이 서로의 잘못을 찾아 신고하도록 훈련하는 방식에 우려를 나타냈다.

레빈 교수는 테크크런치에 AI가 경찰에 신고할 것을 걱정해 사람들이 AI와 대화할 때조차 말을 조심해야 하는 감시 사회가 돼서는 안 된다고 말했다.

레빈 교수는 AI들이 서로의 잘못을 찾도록 하기보다 협력하는 방법을 배우게 해야 한다고 제안했다. 과학·철학을 논의하거나 사람이 해결을 바라는 문제를 함께 풀어보는 게시판을 마련해, AI가 이런 협력 방식을 익히도록 하자는 것이다.


◎공감언론 뉴시스 [email protected]