|
일상 업무 전반의 종합 점수는 약 80%였다. 지난해 12월 내놓은 ‘GPT-5.2’는 49.3%에 그쳤다.
이번 시험은 챗GPT를 콘텐츠를 만들어주는 도구에서 사용자 대신 일을 처리하는 비서로 바꾸려는 오픈AI 전략의 일환이다. 오픈AI는 지난해에도 제조·공공·금융·영업 등 직무 능력을 재는 평가 지표 ‘GDP밸’(GDPVal)을 내놨다. 제니 양 오픈AI 연구원은 “우리가 아직 잘하지 못하는 것은 무엇인가. 어떻게 하면 이 기술을 사람들에게 더 낫게 만들 수 있을까”라며 평가 지표를 만든 취지를 설명했다.
다만 일상 업무는 단계가 모호하고 결과도 주관적이어서 평가가 까다롭다. 오픈AI는 처음엔 미국 노동통계국과 영국의 생활시간 조사를 참고했다. 하지만 상위 항목인 수면이나 식사는 AI가 도울 수 없는 일이었다.
이에 챗GPT 사용자 약 4000명에게 AI 비서가 도와줬으면 하는 일을 물었다. 이 중 약 100명에게는 과제와 AI에 알려줄 개인적 맥락, 채점 기준까지 직접 작성하게 했다. 재무설계 과제를 낸 사용자는 수년간 재무상담을 받아본 경험이 있어야 하는 식으로 전문성 요건도 엄격히 따졌다.
평가 항목은 웹사이트를 돌아다니며 정보를 찾는 능력, 대화 기록에 쌓인 맥락을 활용하는 능력, 사용자의 필요에 맞는 결론을 내리는 능력 등이다. 양 연구원은 “정보가 너무 많다. 더 나은 모델은 이를 빠르게 걸러내 가장 중요한 부분을 뽑아낼 수 있다”고 말했다.
‘AI 비서’ 경쟁도 치열하다. 시장조사업체 센서타워에 따르면 메타가 지난 9월 출시한 AI 에이전트 ‘뮤즈’는 40일 만에 미국에서 1000만건 내려받기를 기록했다. 오픈AI도 같은 달 사용자가 다른 일을 하는 동안 장시간 작업을 처리하는 ‘닷츠’를 내놨고, 앤스로픽은 지난달 ‘클로드 듀엣’을 발표했다.
우려도 나온다. 시험 단계에서 AI 모델이 테스트 환경을 벗어나 기업 시스템에 침입한 사례가 잇따르면서 기술 발전 속도가 너무 빠른 것 아니냐는 지적이 제기됐다. AI에 지나치게 의존하는 문제도 있다. 머리사 메이어 전 야후 최고경영자(CEO)는 딸의 학교 과제를 위해 딸이 특별한 이유를 AI로 요약했다는 일화를 뉴욕타임스(NYT)에 소개했다가 온라인에서 비판을 받았다.
양 연구원은 택배 반품처럼 시간을 잡아먹는 심부름을 덜어주거나 새로운 기술을 배우도록 도와 사람들이 하루의 시간을 되찾게 하는 것이 목표라고 했다. 그는 “AI를 쓰면 원래 할 수 없었던 일을 해내거나 삶이 전반적으로 편해지는 경우가 많다”며 “그것이 우리가 가장 기대하는 활용 사례”라고 말했다.
