기업이 AI 시대에 던져야 할 관심도 달라지고 있다. 얼마나 좋은 AI를 도입할 것인가보다, AI가 내놓은 결과를 어디까지 믿고 업무에 맡길 것인가가 중요해졌다는 의미다.
최근 미국 매사추세츠공과대학(MIT)의 NANDA 이니셔티브가 생성형 AI에 투자한 기업들을 분석한 보고서를 내놨다. 보고서에 따르면 조사 대상 가운데 실제로 측정 가능한 매출 효과를 확인한 기업은 5%에 그쳤다. AI를 도입하는 것만으로는 기업의 매출 성과로 이어지기 어렵다는 의미다.
|
1999년부터 e커머스 인프라를 구축해온 이 대표는 최근 플래티어가 기업 고객사에 멀티 에이전트를 구축·운영하면서 직접 겪은 실패 사례와 극복 방안을 소개했다.
AI 실패 공식 인정하는 조직 없어…신뢰 기준 부재 탓
이 대표는 기업 현장에서 AI 프로젝트가 왜 겉으로는 유지되는 것처럼 보이다가 결국 사라지는지부터 지적했다.
그는 “기업 현장에서 AI 프로젝트가 왜 소리 소문 없이 사라지는지 아느냐”며 “파일럿 단계에서는 다 잘될 것 같지만 실패했다고 공식적으로 인정하고 판정하는 조직은 거의 없다. 그저 조용히 안 쓰다가 리뉴얼 시점이 되면 ‘안 쓰는 AI를 고도화해달라’고 요구한다”고 말했다.
원인은 과거 DX에 적용했던 평가 기준을 확률적 시스템인 AI에 그대로 적용하기 때문이라는 설명이다.
정해진 규칙에 따라 ‘A를 입력하면 B가 나오는’ ERP(전사적자원관리)와 달리 생성형 AI는 같은 질문에도 상황과 확률에 따라 다른 결과를 낼 수 있다. AI의 답변을 어디까지 믿고 업무에 적용할지에 대한 기준이 없다 보니 현장은 한두 번의 오류만 발생해도 AI를 신뢰하지 않게 된다는 것이다.
|
이 대표는 AI 환각을 기술 발전만으로 완전히 없앨 수 있다고 보는 시각에도 경고를 보냈다.
그는 “엔지니어들은 최신 파운데이션 모델이 나오면 환각을 모두 잡을 수 있다고 하지만, 환각은 고칠 수 있는 버그가 아니라 확률론적 시스템이 가진 특성으로 받아들여야 한다”고 말했다.
멀티 에이전트 환경에서는 문제가 더욱 커질 수 있다. 앞선 에이전트가 잘못된 답변을 내놓으면 다음 에이전트가 이를 사실로 받아들이면서 오류가 연쇄적으로 확대될 수 있기 때문이다. ERP 등 기업의 기존 시스템과 연동할 경우 API(응용프로그램인터페이스) 타임아웃이나 잘못된 도구 호출 등이 겹치면서 결과가 나온 경로를 추적하기 어려워질 수도 있다.
이에 따라 중요한 것은 AI가 틀리지 않도록 만드는 것만이 아니다. 틀릴 가능성을 전제로 어디까지 AI에 맡기고, 어느 지점에서 사람이 개입할지를 정하는 것이다.
데이터로 본 AI 확산의 그늘…“신뢰와 책임도 불명확”
글로벌 기업을 대상으로 한 조사에서도 AI 활용과 신뢰 사이의 간극이 나타났다.
이 대표가 제시한 자료에 따르면 미국의 IT 관리 플랫폼 기업 아테라(Atera)가 대기업 최고정보책임자(CIO)를 대상으로 실시한 조사에서 응답자의 90% 이상이 AI 도입으로 생산성과 비즈니스 성장을 체감했다고 답했다.
반면 AI 솔루션의 소유권과 책임 범위가 불명확하다고 답한 응답자는 37%였다. 책임 역시 IT·기술 부서를 비롯해 재무, 법무, 인사 등 여러 부서로 분산돼 일관된 통제가 어려운 것으로 나타났다.
또 금융 모델링 소프트웨어 기업 마카바쿠스(Macabacus)가 실시한 조사에서는 응답자의 87%가 매주 AI를 활용해 보고서를 작성한다고 답했다. 그러나 62%는 지난 1년 동안 AI가 만든 오류가 고객이나 내부 의사결정자에게 실제 전달된 경험이 있다고 답했다.
특히 실무자의 AI 신뢰도는 43%인 반면 관리자급은 20%대에 머물렀으며, 이 대표가 제시한 자료에서는 관리자급 신뢰도가 29%로 나타났다. AI를 업무에 활용하는 것과 중요한 의사결정을 AI 결과에 맡기는 것은 다른 문제라는 의미다.
13개 중 1개 멈춘 유통 QA 에이전트…“신뢰 기준 없었다”
이 대표는 플래티어가 고객사 프로젝트에서 겪은 실패 사례를 통해 ‘결과에 대한 신뢰 설계’의 중요성을 강조했다.
당시 대형 유통 고객사에 구축한 13개 멀티 에이전트 가운데 의류 케어라벨, 시험성적서, 수입신고필증 등을 자동으로 대사·판독하는 품질관리(QA) 에이전트가 가동을 멈췄다.
플래티어는 내부적으로 신뢰 수준을 92%까지 끌어올렸지만, 현장 실무자가 기대한 것은 단 한 번의 예외도 없는 100% 자동 판정이었다. 10번 중 9번을 맞히더라도 한 번의 오류가 발생하자 현장은 에이전트 사용을 중단했다.
이 대표는 “에이전트가 판독·분류형인지, 생성형인지, 실행·자동화형인지 업무 유형부터 나누고 어느 수준의 오차까지 결과를 신뢰할 것인지에 대한 기준을 사전에 정했어야 했다”며 “목표와 통과 기준 없이 시작된 자동화, 틀렸을 때 인간에게 넘기는 에스컬레이션 규칙이 없는 시스템은 현장에서 멈출 수밖에 없다”고 회고했다.
모델보다 아키텍처…AI 시스템 결과를 통제할 수 있어야
이상훈 대표가 제시한 해법은 최신 파운데이션 모델을 계속 교체하는 것이 아니라 AI 시스템의 결과를 평가하고 통제할 수 있는 구조를 만드는 것이다.
제조 현장의 품질관리 기법인 게이지 R&R처럼 AI 에이전트의 성능도 정량적으로 측정해야 한다는 설명이다.
동일한 입력을 반복했을 때 일관된 출력이 나오는지 확인하는 반복성과 모델이나 환경이 바뀌어도 일정 수준의 품질을 유지하는 재현성을 평가하고, 이를 통과한 에이전트만 실제 서비스에 투입하는 다단계 검증 체계가 필요하다고 했다.
거버넌스 역시 AI 도입 이후에 붙이는 사후 관리가 아니라 초기 설계 단계부터 시스템에 포함해야 한다고 강조했다.
이를 위해 AI가 할 수 있는 것과 할 수 없는 것을 규칙으로 통제하는 정책 엔진, 입출력을 통제하는 가드레일, 치명적인 오류 발생 시 즉시 작동을 중단하는 킬 스위치, 필요할 경우 사람이 최종 판단하는 인간 개입 체계 등을 갖춰야 한다고 설명했다.
사후에는 모든 실행 경로를 추적할 수 있는 감사 추적과 기반 모델 교체에 따른 출력값 변화를 감시하는 모델 드리프트 모니터링도 필요하다고 덧붙였다.
기업형 AX의 경쟁력은 가장 새로운 모델을 먼저 도입하는 데서 끝나지 않는다. 그 모델이 내놓은 결과를 어느 수준까지 믿을 수 있는지 측정하고, 오류가 발생했을 때 누가 어떻게 개입할지를 설계하는 데서 결정된다.
이 대표는 “기업형 AX 현장에서 던져야 할 질문은 ‘AI를 어떻게 도입할 것인가’가 아니라 ‘이 결과를 어떻게 믿을 것인가’”라며 “화려한 AI 모델 자체가 아니라 AI가 내놓은 답의 신뢰도를 숫자로 증명하고 통제할 수 있는 아키텍처와 거버넌스를 갖춘 기업이 현장의 실패를 딛고 살아남을 것”이라고 강조했다.
한편 플래티어는 이날 소개한 신뢰·검증 체계를 적용한 엔터프라이즈 AI 플랫폼 ‘엑스젠(XGEN)’을 운영하고 있다.
