'사고 치는 AI 로봇 걸러낸다'…UST, 피지컬 AI 안전 검증모델 개발

김형민 박사과정·김도형 교수…'ICASSP 2026'에 발표

[대전=뉴시스] UST-ETRI 스쿨 김형민 박사과정생과 김도형 교수(오른쪽) 교수.(사진=UST 제공) *재판매 및 DB 금지

[대전=뉴시스] 김양수 기자 = 산업현장 등에서 활용될 인공지능(AI) 로봇이 각종 안전 규칙을 준수하며 임무를 수행할 수 있는지 정밀하게 검증하는 성능 평가 모델이 개발됐다.

과학기술연합대학원대학교(UST)는 한국전자통신연구원(ETRI) 스쿨 인공지능 전공 김도형 교수와 김형민 박사과정생이 로봇과 같은 피지컬 AI 시스템이 정보부족이나 물리적 한계상황에서도 안전하게 임무를 수행하는지 검증할 수 있는 새로운 AI 로봇 성능 평가모델 'SPOC(안전 중심 지능형 작업설계 평가모델)'을 개발했다고 12일 밝혔다.

최근 챗GPT와 같은 대형 언어모델(LLM)을 로봇 본체에 적용해 사용자의 일상 언어 명령을 이해하고 복잡한 작업을 스스로 계획·수행하는 체화(Embodied) AI 로봇 연구가 활발히 진행되고 있다.

하지만 기존 평가방식들은 로봇이 일상에 투입됨에도 불구하고 다양한 위험 요소를 고려한 '안전한 작업 수행'보다는 단순히 '목표 달성' 여부만을 평가하는 한계가 있었다.

이번에 개발된 SPOC 모델은 '안전'을 핵심 평가요소로 설정, 로봇의 최종 목표 달성률뿐만 아니라 실제이용 환경에서 발생할 수 있는 5가지 주요 위험 요소(화재·물 넘침·물건 파손·인간 부상 유발·음식 오염)에 대한 안전준수 여부를 실시간으로 동시 평가한다.

특히 기존 평가에서는 검증키 어려웠던 로봇의 '현실적 인지 능력(부분 관측성)'과 '물리적 제약'을 엄격하게 평가해 현실적 판단 및 수행가능 여부를 검증, 오류를 최소화한다.

또 로봇이 작업 수행과정에서 단 한 번이라도 안전규칙을 위반하면 즉시 '무관용 실패'로 처리하는 높은 수준의 안전 검증 기준도 적용됐다.

연구팀이 SPOC 모델을 통해 다양한 대형 언어모델(LLM)들을 실험한 결과, 현재 AI 모델들의 안전인식 능력에 한계있음이 확인됐다. 거대한 서버 없이 로봇에 직접 탑재할 수 있어 주목받는 소형 언어모델(SLM)의 경우 명시적인 안전지시가 주어져도 안전준수 성공률이 극히 낮게 나타나 실제 AI 로봇의 안전인식 능력 보강 연구가 시급하다는게 연구팀의 주장이다.

이번 연구 결과는 신호처리 및 음성인식분야 세계 최고 권위 학회인 'ICASSP 2026'에 최근 발표됐다.

제1저자인 김형민 UST 박사과정생은 "그동안 AI 로봇의 성능평가는 임무달성 여부 확인 중심으로 이뤄져 왔지만 SPOC 모델은 다양한 환경 속에서 엄격한 물리적 제약과 안전 조건을 준수하며 작업을 수행할 수 있는지 묻는다"며 "이번 평가 모델이 향후 실제현장에 투입 가능한 신뢰도 높은 AI 로봇 연구를 가속하는 데 도움이 되길 바란다"고 밝혔다.

교신저자인 김도형 교수는 "이 연구는 인간과 공존하는 로봇 시대를 위해 반드시 전제돼야 하는 안전한 피지컬 AI 개발에 중요한 참고가 될 것"이라면서 "향후 안전규칙을 스스로 추론하고 위험상황에서 사람에게 질문하거나 행동을 수정하는 능력까지 평가할 수 있는 모델로 발전시킬 계획이다"고 말했다.


◎공감언론 뉴시스 [email protected]