독파모 2차 평가, 세부 점수 공개 요구…“평가 과정 투명하게 알려야”

[이데일리 김현아 기자] 국가 차원의 독자 AI 파운데이션 모델 사업(독파모) 2차 평가 결과와 관련해 세부 평가 점수를 공개할 필요가 있다는 의견이 나오고 있다. 정부가 참여 기업 간 평가 결과에 ‘근소한 차이’가 있었다고 설명한 가운데, 평가 지표와 항목별 점수가 공개돼야 결과가 어떻게 산출됐는지 보다 명확하게 확인할 수 있다는 취지다.

특히 글로벌 AI 성능평가 지표인 AAII(Artificial Analysis Intelligence Index)에서 가장 높은 점수를 받은 모델이 최종 평가에서 탈락하면서, 각 평가 결과가 최종 점수에 어떤 방식으로 반영됐는지에도 관심이 쏠리고 있다.

정부 의뢰로 아티피셜 애널리시스가 공개한 자료에 따르면 모티프테크놀로지스의 ‘Motif 3’는 AAII에서 47점을 받아 4개 참여 모델 가운데 가장 높은 점수를 기록했다. 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점이었다.

다만 AAII 점수가 최종 평가에 그대로 반영되는 것은 아니다. AAII가 포함된 벤치마크 평가의 배점은 40점이며, 이 가운데 AAII가 25점을 차지한다. 나머지는 한국지능정보사회진흥원(NIA) 평가 등으로 구성된다. 여기에 전문가 평가와 사용자 평가가 더해져 최종 순위가 결정된다.

이에 따라 AAII 원점수에서 모델 간 차이가 있더라도 전체 평가에 반영되는 과정에서는 격차가 달라질 수 있다. 모티프와 LG AI연구원의 AAII 점수 차이는 16점이지만, AAII 점수가 25점 배점으로 환산되면서 두 모델 간 격차는 약 4점 수준으로 줄어드는 구조다.

[이데일리 문승용 기자]

한상기 대표 “평가 지표와 기업별 점수 공개해야”

한상기 테크프론티어 대표는 18일 자신의 페이스북에 독파모 경쟁과 관련해 평가 과정의 투명성을 요구했다.

한 대표는 “독파모 경쟁이 좀 더 투명하게 진행되었으면 좋겠다”며 “평가 지표와 각 지표 당 참여 기업 모델의 평가 점수를 공개해야 하는 것 아닌가?”라고 밝혔다.

이어 “(소문으로 듣기로는 참여 기업이 반대했다고 하는데.) 어느 모델이 왜 선정되었고 어느 기업이 왜 떨어졌는지 알아야 할 것 아닌가?”라고 적었다.

한 대표는 또 “어딘가에 공개하고 있는데 제가 모르는 것이라면 알려주세요”라고 덧붙였다.

독자 제보에서도 세부 평가 자료 공개 요청

이데일리에는 독파모 2차 평가의 세부 내역을 확인할 필요가 있다는 독자 제보도 들어왔다.

제보자는 “공개된 자료를 찾아보니 모티프는 AAII 원점수 47점으로 업스테이지 37점, SK텔레콤(017670) 35점, LG(003550) AI연구원 31점보다 높았다”며 “하지만 AAII가 종합평가에서 25점만 차지하면서 LG와의 16점 차이가 환산 후 약 4점으로 줄어든 것으로 보인다”고 밝혔다.

이어 “반면 전문가 평가와 사용자 평가는 합쳐서 60점인데, 정부 발표에는 4개 팀의 전체 항목별 점수와 최종 3·4위 점수 차이가 공개돼 있지 않았다”고 지적했다.

제보자는 “부정이나 특정 기업 밀어주기라고 단정하려는 것은 아니다”라며 “정부가 ‘근소한 차이’라고 발표한 만큼 평가 세부 자료가 공개되지 않으면 외부에서는 평가가 공정했는지 검증하기 어렵다”고 밝혔다.

제보자가 공개를 요청한 자료는 △4개 팀의 세부 항목별 점수와 최종 순위 △AAII·NIA 원점수의 환산식 △전문가 평가위원 선정 및 이해충돌 배제 절차 △익명화된 전문가 평가 점수 분포 △전문 사용자·국민평가의 블라인드 여부 △평가 문항과 모델 노출 순서 △중복 참여 방지 방식 △3위와 4위의 실제 총점 차이 △이의제기 절차 등이다.

제보자는 “결과를 뒤집어 달라는 취지가 아니라, 국민 세금이 들어간 국가대표 AI 선발 과정의 재현성과 설명 책임을 확인해 달라는 취지”라고 밝혔다.

평가 결과와 함께 산출 과정도 관심

독파모는 정부가 국내 AI 경쟁력을 높이기 위해 추진하는 국가 차원의 AI 모델 개발 사업이다. 참여 기업들이 개발한 모델을 단계적으로 평가해 경쟁력을 검증하고 최종적으로 지원 대상을 좁혀가는 방식으로 진행된다.

국가 예산이 투입되는 사업인 만큼 평가 기준과 배점, 세부 결과가 어떻게 최종 순위로 이어졌는지를 설명할 필요가 있다는 의견이 나온다.

AI 모델의 성능은 수학·코딩·추론 등의 벤치마크뿐 아니라 전문가의 실제 사용 평가와 일반 사용자의 체감 품질 등 다양한 방식으로 측정할 수 있다. 평가 항목과 배점에 따라 최종 결과가 달라질 수 있는 만큼 각 평가 결과가 최종 점수에 어떻게 반영됐는지 확인할 수 있어야 한다는 것이다.

현재 과학기술정보통신부는 독파모 평가 결과를 공식 발표했지만, 공개된 자료만으로는 4개 참여 모델의 전체 세부 항목별 점수와 3위·4위 간 구체적인 총점 차이 등을 모두 확인하기 어려운 상황이다.

이번 논의는 특정 기업의 탈락 결과 자체보다는 국가대표 AI를 선정하는 과정과 결과를 외부에서 확인할 수 있도록 관련 정보를 어디까지 공개할 것인지에 초점이 맞춰지고 있다.

특히 AAII에서 모티프가 가장 높은 점수를 기록했지만 최종 결과가 달라진 만큼 AAII·NIA·전문가·사용자 평가가 각각 어떤 점수로 반영됐는지를 공개한다면 최종 결과를 이해하는 데 도움이 될 것으로 보인다.

‘어떤 평가를 통해 그 결과가 나왔는가’를 설명할 수 있는지가 독파모 평가에 대한 이해와 신뢰도를 높이는 데 중요한 요소가 될 전망이다.