"AI에 일 맡기긴 했지만…" 10곳 중 8곳은 결국 사람이 고친다

SAS·IDC, 28개국 2699명 비즈니스·IT 의사결정권자 조사결과 발표

기업 89% 의사결정에 AI 활용…79%는 "10% 이상 결과물에 사람 수동 수정"

수정 원인 1위는 '판단 근거 설명 부족(34.5%)'…'맥락 미반영(25.6%)'이 뒤이어

자율성 커질수록 신뢰 하락…생성형 AI 76% vs 에이전틱 AI 66%

[서울=뉴시스] 기사 이해를 돕기 위한 사진. (사진=유토이미지) *재판매 및 DB 금지

[서울=뉴시스]이주영 기자 = 전 세계 기업들이 인공지능(AI)을 의사결정 과정에 깊숙이 이식하고 있지만, 정작 AI가 내놓은 최종 결론에 사람이 직접 개입해 검토하고 수정하는 현상이 일반화된 것으로 나타났다. AI의 결과 자체가 틀려서가 아니라, AI가 왜 그런 판단을 내렸는지 과정을 설명하지 못하는 '설명 가능성' 부재가 가장 큰 원인으로 지목됐다.

30일 데이터·AI 기업 SAS가 IDC의 리서치 인사이트를 바탕으로 '데이터 및 AI 영향력 보고서: 신뢰의 새로운 경제학' 보고서를 발표했다. 이번 조사는 전 세계 28개국 2699명의 비즈니스·IT 의사결정권자를 대상으로 진행됐다.

보고서에 따르면 조사 대상 기업의 89%가 업무 의사결정 과정에서 AI 에이전트를 어떤 형태로든 활용하고 있다고 답해 AI의 현장 침투율이 기정사실화됐음을 보여줬다.

그러나 AI의 판단을 온전히 신뢰하고 그대로 실행에 옮기는 기업은 극소수에 불과했다. 전체 응답 조직의 79%는 전체 의사결정 사례 가운데 10% 이상에서 AI의 추천이나 결과물을 사람이 직접 검토하고 수동 수정한다고 밝혔다. AI의 결과물에 전혀 개입하지 않는다고 답한 비중은 0.6%에 불과했다.

수정 원인 1위는 '설명 부족'… 타당해도 근거 모르면 사람 개입

사람이 AI의 판단 결과에 개입해 직접 손을 대는 가장 핵심적인 이유는 판단 과정의 '불투명성'이었다..

AI 결과물을 직접 수정하는 주된 이유로 '판단 근거 및 설명 부족'을 꼽은 응답자가 34.5%로 가장 많았다. 결과물이 상황의 맥락을 충분히 반영하지 못했다는 응답이 25.6%로 뒤를 이었다. 두 응답을 합치면 60%를 웃돈다.

반면 '편향성 및 불공정성(16.9%)', '오류 및 품질 미흡(14.8%)', '안전성 및 부적절성(8.3%)' 등 AI의 단순 성능 부족이나 위험성을 이유로 든 비중은 상대적으로 낮았다. 

결과가 타당하더라도 판단 근거를 이해하기 어렵다면 최종 승인을 주저하게 된다는 의미다. 보고서는 설명 부족과 맥락 누락을 해결하기 위해 AI가 어떤 데이터와 과정을 거쳐 결론을 내렸는지 추적할 수 있는 데이터 기반과 설명 가능성이 필요하다고 분석했다.

스스로 행동하자 신뢰도 '뚝'…생성형 AI 76%→에이전틱 AI 66%

AI에 부여되는 자율성이 커질수록 신뢰도는 오히려 낮아졌다.

생성형 AI를 신뢰한다고 답한 비율은 76%였지만 스스로 판단하고 행동하는 에이전틱 AI를 신뢰한다는 응답은 66%로 10%포인트 낮았다. AI가 단순히 답변이나 제안을 내놓는 수준을 넘어 직접 행동에 나설수록 기업이 요구하는 신뢰 수준도 높아지는 셈이다.  

AI를 뒷받침할 데이터 인프라도 아직 충분히 성숙하지 못한 것으로 조사됐다. 전체 조직의 절반 이상인 52%가 자사의 데이터 인프라를 '체계적 관리' 또는 '최적화 완성' 단계라고 평가했지만, 가장 높은 단계인 '최적화 완성'에 도달한 조직은 17.5%에 그쳤다.

AI에 대한 신뢰 체계를 제대로 구축한 기업일수록 실제 사업 성과도 높았다.

신뢰성 지수가 높은 조직은 낮은 조직보다 높은 수준의 AI 투자수익률(ROI)을 기록할 가능성이 15배 높았다. 신뢰성이 높은 조직의 62%가 AI에 1달러를 투자할 때 2달러 이상의 수익을 거둔 반면 신뢰성이 낮은 조직에서는 같은 성과를 낸 비율이 4%에 그쳤다. 
 
SAS 관계자는 "AI 신뢰 구축은 단순한 리스크 관리를 넘어 실제 사업의 재무적 성과와 직결된다"며 "탄탄한 데이터 인프라와 거버넌스를 가질수록 AI를 현장 실무로 확장해 파급력을 높이기 쉽다"고 강조했다.


◎공감언론 뉴시스 [email protected]