“틀려도 당당한 AI…이젠 자기 답 의심할 차례”

[이데일리 신영빈 기자] 세차장까지 5분 거리라면 걸어가는 게 좋을까, 차를 타고 가는 게 좋을까. 인공지능(AI)은 걷기를 권했다. 운동도 되고 기분 전환에도 도움이 된다는 이유를 붙였다. 세차하려면 차를 가져가야 한다는 사실은 놓친 채였다.

이주호 KAIST 김재철AI대학원 교수는 27일 서울대 인공지능신뢰성 연구센터가 주관한 월례세미나에서 이런 사례를 소개하며 AI의 ‘메타인지’ 연구가 필요하다고 강조했다.

이주호 KAIST 김재철AI대학원 교수가 27일 서울대에서 열린 인공지능신뢰성 연구센터 월례세미나에서 대규모 언어모델(LLM)의 메타인지 연구를 소개하고 있다. (사진=신영빈 기자)

메타인지는 자신이 무엇을 알고 무엇을 모르는지 돌아보는 능력이다. 말을 유창하게 하고 어려운 문제를 풀더라도 자기 답의 한계를 제대로 판단하지 못하면 믿고 쓰기 어렵다는 문제의식이다.

이 교수가 소개한 첫 번째 연구는 AI의 자신감과 실제 실력 사이의 간격을 줄이는 ‘신뢰도 보정’이다. AI가 정답일 가능성을 60%라고 평가한 답변들을 모았다면 실제로도 약 60%가 맞아야 한다. 확신은 높지만 정답률이 낮다면 사용자는 틀린 답을 믿고 판단할 위험이 있다.

외부 자료를 찾아 답변에 붙이는 검색증강생성(RAG)도 이 문제를 해결해주지는 못한다. 자료를 찾는 일과 그 자료가 답변의 근거가 되는지 판단하는 것은 다른 능력이라는 설명이다. 이 교수는 “추가적인 사실을 동원한다고 신뢰도가 높아지는 것은 아니다”라고 말했다.

연구진은 AI가 먼저 문제를 풀고 이어서 자기 답에 얼마나 확신하는지 수치로 표현하도록 학습시켰다. 기본 모델에 같은 문제를 여러 번 풀게 해 얻은 실제 정답률을 기준으로 삼았다. 10번 중 6번 맞혔다면 확신도도 그에 맞춰 표현하도록 조정하는 식이다.

학습 순서도 중요했다. 연구진의 실험에서는 문제를 풀기 전에 확신도를 묻겠다고 안내하거나 곧바로 답하게 하는 방식은 잘 작동하지 않았다. 문제를 푼 뒤 자신의 판단을 돌아보도록 했을 때 학습이 이뤄졌다는 설명이다.

흥미로운 변화는 그다음에 나타났다. 확신도를 보정하는 학습만 했는데도 일부 어려운 문제에서 AI가 스스로 풀이를 다시 검토하기 시작했다. 처음에는 오답을 냈다가 추론을 이어가 정답을 찾는 사례도 있었다. 반대로 쉬운 문제에는 짧게 답하는 모습이 관찰됐다.

이 교수는 “오로지 자기 자신의 신뢰도만 돌아보도록 했는데 스스로 정답을 검증하는 행동이 유도됐다”고 설명했다.

다만 한 분야에서 익힌 자기 점검 능력이 모든 과업에 통하지는 않았다. 수학 문제로 학습한 모델은 다른 추론 문제에서도 확신도를 비교적 잘 판단했지만 긴 자료에서 특정 정보를 찾아내는 과업에서는 같은 능력을 보여주지 못했다.

연구진은 이를 해결하기 위해 논리적으로 잘 풀었다는 확신과 자료에 근거해 답했다는 확신을 구분해 각각 학습시켰다. 두 가지를 함께 학습하자 추론과 정보 검색이 섞인 과업에서도 답변의 확신도를 더 잘 판단할 수 있었다.

두 번째 연구는 AI가 스스로 문제를 내고 풀며 학습하는 ‘셀프플레이’의 한계를 다뤘다. 같은 AI 모델을 둘로 복사해 출제자와 풀이자 역할을 맡기는 방식으로, 사람이 학습용 문제를 일일이 만들어야 하는 부담을 줄일 수 있다.

다만 이 경우에는 익숙한 문제만 반복하는 함정에 빠질 우려가 있었다. 너무 쉬운 문제는 배울 것이 없고 너무 어려운 문제는 풀지 못한다. 연구진이 재현한 일부 기존 방법에서도 초기에는 성능이 오르다가 학습을 더 진행하자 급락하는 현상이 나타났다.

연구진은 모델이 해당 문제 유형을 전에 접했는지 판단하도록 하고 출제자가 새로운 유형을 제시하도록 보상하는 방식을 적용했다. 실험에서는 기존 방식에서 나타났던 성능 급락을 막을 수 있었다. 과거에 익혔던 유형을 잊으면 다시 해당 유형을 출제하는 현상도 관찰됐다.

이 교수는 이번 연구를 AI가 사람과 같은 자기 이해 능력을 갖췄다는 의미로 확대 해석하지는 않았다. 첫 번째 연구의 핵심 성과도 정답률 자체를 끌어올린 것이 아니라, 정확도를 대체로 유지하면서 확신도를 적절히 표현하도록 개선한 데 있다고 설명했다.

한계도 남아 있다. 일부 모델은 풀이가 길면 어려운 문제라고 판단하는 단순한 요령에 의존했을 가능성이 있다. 사용자가 자기 말에 동의하라고 강하게 요구하면 확신도가 흔들리기도 했다. 스스로 검토하는 과정에서 불필요하게 긴 답변을 생성하는 사례도 있었다.

이 교수는 “더 신뢰할 수 있고 안전하며 인간의 의도에 맞게 정렬된 AI를 만드는 데 메타인지 능력을 잘 갖추게 하고 표면화하는 것이 중요한 과제”라며 “더 능력이 좋은 모델을 만드는 데 집중하는 때일수록 학계에서는 이런 쪽에 시선을 둬야 하지 않을까 생각한다”고 말했다.