KT는 27일 서울 종로구 광화문 West 빌딩에서 기자간담회를 열고, AI 모델 선택부터 비용 관리, 보안 기능까지 하나의 플랫폼에서 제공하는 ‘KT 토큰팩토리(KT Token Factory)’를 공개했다.
|
AI 시대의 경제 단위인 ‘토큰’ 소비량은 폭발적으로 증가하고 있다. 최근 1년간 글로벌 AI 토큰 소비량은 약 35배 폭증했다. 번역, 요약, 코딩, 추론 등 업무 목적에 따라 강점을 지닌 AI 모델이 제각각이다 보니, 기업 입장에서는 목적에 맞는 최적의 모델을 골라 쓰는 것이 핵심 경쟁력으로 떠올랐다.
KT 토큰팩토리는 국내외 500개 이상의 AI 모델을 하나로 묶은 통합 플랫폼이다. 이용자는 개별 AI 서비스에 따로 가입할 필요 없이 토큰팩토리 한 곳에서 사용량 모니터링, 비용 관리, 통합 결제까지 처리할 수 있다.
KT는 과거 통신망을 통해 사람과 서비스를 연결하고 정밀하게 요금을 부과했던 역량을 이번 AI 플랫폼에 그대로 이식했다. 과금 체계의 정확도를 높이는 한편, 기업 고객이 안심하고 쓸 수 있도록 보안성을 극대화했다.
세계 1위 라우팅 기술 적용… “AI 운영비 최대 25% 절감”
토큰팩토리의 최대 강점은 ‘비용 효율성’이다. 업무 성격에 맞춰 최적의 AI 모델을 자동으로 연결해 불필요한 토큰 소비를 막아준다. 단순 질의에는 가벼운 모델을, 고난도 분석에는 고성능 모델을 매칭하는 방식이다.
이를 위해 KT가 자체 개발한 ‘오픈 모델 라우터(Auto Model Router)’ 기술이 적용됐다. 질문의 난이도, 품질, 비용, 고객 설정 범위를 종합해 최적의 모델을 찾아주는 기술로, 글로벌 모델 선택 평가 벤치마크인 ‘RouterArena’에서 1위를 기록하며 성능을 검증받았다.
여기에 한국어 특성을 고려한 프롬프트 압축 기술을 더해 질의의 의미와 답변 품질은 유지하면서도 입력 토큰 수를 대폭 줄였다. KT 측은 두 기술의 결합을 통해 AI 이용에 들어가는 토큰 비용을 최대 25%까지 절감할 수 있다고 밝혔다.
|
기업들의 최대 우려인 ‘데이터 유출’ 위험도 차단했다. 해외 AI 서비스에 의존할 때 발생하는 데이터 주권 문제를 해결하기 위해, 모든 AI 추론 서비스를 국내 KT 데이터센터에서 직접 제공한다.
국내 소버린 AI 인프라를 바탕으로 KT 자체 모델은 물론 다양한 ‘오픈웨이트(Open Weight, 공개형)’ 모델을 안전하게 이용할 수 있다. 특히 한국어 환경에 최적화된 가드레일(Guardrail) 기술을 적용해, 입력되는 개인정보·유해 표현 점검은 물론 AI가 생성한 답변의 안전성까지 2중으로 검증한다.
KT는 플랫폼 경쟁력을 넓히기 위해 글로벌 최대 AI 마켓플레이스 사업자인 ‘오픈라우터(OpenRouter)’와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 500개 이상의 글로벌 AI 모델 라인업을 확보했으며, 향후 KT의 소버린 AI 모델을 해외 시장에 유통하는 글로벌 AI 허브로 키운다는 복안이다.
서비스는 오는 30일 B2B(기업 간 거래) 고객을 대상으로 우선 출시된다. 이후 유라클, CAST AI, 타임리 등 국내외 전문 IT 기업 및 ‘모두의 AI’ 컨소시엄 참여사들과 협력을 넓혀 B2C(소비자 대상) 영역까지 생태계를 확장할 계획이다.
박상원 KT AX사업부문장(전무)은 “현재 AI 시장은 ‘누가 더 좋은 모델을 만업느냐’에서 ‘누가 AI를 더 쉽고 효율적으로 쓰게 만드느냐’의 싸움으로 전환됐다”며 “통신 사업에서 쌓은 노하우를 결합한 토큰팩토리를 통해 대한민국 기업들의 AX 전환을 앞장서 이끌겠다”고 말했다.
