“AI 인프라계 안드로이드 될 것”…래블업, ‘GPU 효율화’로 승부수

[이데일리 윤정훈 기자]“특정 GPU에 종속되지 않고, 어떤 AI 반도체를 쓰더라도 같은 환경에서 AI를 돌릴 수 있게 만드는 것이 목표입니다.”

래블업은 고가의 엔비디아 GPU를 잘게 나눠 여러 사용자가 동시에 쓰게 하고, 작업에 따라 자원을 자동 배분하는 기술력을 갖춘 국내 톱 기업이다. AI가 산업 전반으로 확산하면서 ‘좋은 AI 모델’을 만드는 경쟁만큼이나 이를 얼마나 효율적으로 운영하느냐가 중요해졌다. 래블업은 이 시장에 주목하고 있다.

이데일리는 7일 서울 강남구 래블업 본사에서 김준기 최고기술책임자(CTO)를 만나 ‘백엔드닷AI(Backend.AI)’의 기술력과 래블업의 차세대 AI 인프라 전략을 들었다.

7일 서울 강남 래블업 본사에서 이데일리와 만난 김준기 최고기술책임자(CTO)가 백엔드닷에이아이 등 회사의 기술을 소개하고 있다(사진=윤정훈 기자)

비싼 GPU, 한 장을 여러 명이 나눠쓴다

래블업의 핵심 기술은 ‘fGPU(Fractional GPU)’다. GPU 한 장을 통째로 한 사용자에게 배정하는 대신 필요한 만큼 잘게 나눠 여러 사용자가 함께 쓸 수 있도록 하는 기술이다.

예를 들어 GPU 한 장을 배정받은 사용자가 실제로는 30%만 활용한다면 기존 환경에서는 나머지 70%가 놀게 된다. 백엔드닷AI는 이렇게 남는 자원을 다른 작업에 동적으로 배분한다. 효과는 수치로도 나타난다. 래블업에 따르면 업계 평균 GPU 활용률은 30% 미만이지만 백엔드닷AI를 적용한 실제 운영 환경에서는 활용률을 30%에서 85%까지 끌어올렸다. GPU가 실제로 일하는 비중을 약 2.8배 높인 셈이다.

다만 김 CTO는 “GPU를 나눠 쓰는 것보다 중요한 것은 여러 사용자가 함께 쓰더라도 서로의 작업에 영향을 주지 않도록 하는 것”이라고 강조했다. 엔비디아의 ‘멀티프로세스서비스(MPS)’도 여러 프로세스가 GPU를 공유하도록 지원한다. 하지만 하나의 CUDA 컨텍스트를 여러 작업이 공유하는 구조에서는 특정 작업에 오류가 발생할 경우 다른 작업에도 영향을 줄 수 있다.

반면 래블업의 fGPU는 처음부터 여러 사용자가 GPU 한 장을 공유하는 ‘멀티테넌트’ 환경을 전제로 설계됐다. 한 사용자의 작업에 문제가 생기더라도 다른 사용자의 작업은 영향을 받지 않고 계속 이어지도록 격리하는 것이 핵심이다.

래블업의 AI 엔터프라이즈 솔루션 소개(사진=래블업)

엔비디아 종속 벗어난 ‘AI 인프라계 안드로이드’

백엔드닷AI는 단순히 GPU를 쪼개는 데 그치지 않는다. 어떤 작업에 어떤 GPU를 언제 배정할지 결정하고, 작업이 끝난 GPU를 다시 다른 사용자에게 할당하는 스케줄링·오케스트레이션까지 담당한다. 김 CTO가 백엔드닷AI를 ‘AI 인프라 OS’라고 부르는 이유다. 그는 “AI OS가 아니라 정확히는 AI 인프라 OS”라며 “AI를 더 잘 돌릴 수 있도록 인프라를 운영해주는 OS라는 의미”라고 설명했다.

데이터센터가 수백~수천 장의 GPU를 갖춘 규모로 커질수록 이런 기술의 중요성도 커진다. 사람이 일일이 GPU를 배분하기는 사실상 불가능하기 때문이다. 래블업은 GPU 분할·가상화부터 클러스터 관리, 대규모 AI 워크로드 오케스트레이션까지 하나의 플랫폼에서 제공한다.

래블업이 궁극적으로 지향하는 것은 특정 GPU 업체에 종속되지 않는 AI 인프라다. 현재는 엔비디아 GPU의 영향력이 크지만 AMD·인텔은 물론 국내 AI 반도체 기업들도 새로운 가속기를 잇달아 내놓고 있다. 여러 종류의 GPU와 NPU를 함께 사용하는 시대가 오면 이를 하나의 환경에서 관리하는 소프트웨어의 중요성도 커질 수밖에 없다.

오픈소스 전략도 같은 맥락이다. 백엔드닷AI의 핵심 엔진과 스케줄러를 오픈소스로 공개해 특정 업체에 대한 종속성을 낮추고, 다양한 하드웨어와 소프트웨어가 연결되는 사실상의 ‘AI 인프라계 안드로이드 생태계’를 만들겠다는 구상이다.

다음 승부처는 ‘AI 추론’

래블업은 GPU 효율화 기술의 적용 영역을 학습에서 추론으로 넓히고 있다. AI 모델을 만드는 학습 단계에서는 대규모 GPU를 한꺼번에 사용하는 것이 중요하다. 반면 실제 서비스 단계에서는 GPU가 놀지 않도록 하고, 요청이 몰릴 때 필요한 만큼 자원을 빠르게 투입하는 것이 핵심이다.

김 CTO는 최근 고객들의 관심도 학습에서 추론으로 옮겨가고 있다고 전했다. AI가 일상적인 서비스로 자리 잡을수록 ‘더 많은 GPU’보다 ‘GPU를 얼마나 효율적으로 쓰느냐’가 기업 경쟁력을 좌우할 수 있다는 판단에서다. 래블업은 GPU 가상화에서 출발해 스케줄링·스토리지·MLOps·추론 서빙까지 AI 인프라 전반을 아우르는 플랫폼으로 영역을 넓히고 있다.

김 CTO는 “엔비디아를 비롯한 수많은 AI 가속기의 잠재력을 200% 끌어올려 모든 기업이 전기나 수도처럼 막힘없이 지능을 공급받는 AI 인프라의 표준을 만드는 것이 래블업과 저의 목표”라고 말했다.