구글, AI반도체 4종으로 확대…엔비디아 추격 '가속도'

구글. (사진=로이터)

[이데일리 한광범 기자] 구글이 인공지능(AI) 반도체인 TPU(텐서처리장치) 제품군을 한 해에 4종으로 확대했다. 민감한 기업 정보를 안전하게 처리하는 시스템과 방대한 데이터를 동시에 다루는 시스템을 추가해 AI 에이전트 시대에 대응한다. 동시에 엔비디아 GPU 중심의 개발 환경에서도 TPU를 쉽게 사용하도록 소프트웨어를 개방한다. 칩 성능 경쟁을 넘어 고객이 AI 인프라를 선택하는 기준 자체를 바꾸려는 전략이다.

구글 클라우드는 9일 8세대 TPU 시스템 ‘TPU 8tx’와 ‘TPU 8i Max’를 발표했다. 지난 4월 대규모 모델 학습용 ‘TPU 8t’와 실시간 추론용 ‘TPU 8i’를 발표한 지 약 7개월 만이다. 구글이 같은 해에 TPU 시스템 4종을 선보인 것은 처음이다. 구글은 현재 TPU 고객이 약 100곳에 이르며, 고객사의 자체 데이터센터에 TPU를 직접 배치하는 방식으로도 사업을 넓히고 있다고 설명했다.

이번 신제품의 특징은 완전히 새로운 반도체를 개발한 것이 아니라 기존 TPU 8t와 TPU 8i를 기반으로 시스템 구성을 바꿨다는 점이다. 구글은 지난 4월 처음으로 하나의 TPU 세대에서 학습(8t)과 추론(8i)을 각각 특화한 두 가지 칩을 공개했다. 당시 TPU 8t는 이전 세대보다 최대 2.7배 높은 학습 성능을, TPU 8i는 추론 비용 대비 성능을 80% 개선하는 데 초점을 맞췄다. 이번에는 이 두 칩을 활용해 보안과 대규모 데이터 처리라는 새로운 요구에 대응하는 시스템을 추가했다.

TPU 8tx는 규제 산업이나 독자 AI 모델을 보유한 기업을 위한 기밀 추론 시스템이다. TPU 8t와 같은 칩을 사용하지만 AMD의 x86 호스트 CPU와 결합해 데이터가 처리되는 동안에도 모델 가중치와 기업 정보를 하드웨어 수준에서 보호한다. 기존에는 데이터를 저장하거나 전송할 때 암호화하더라도 실제 연산을 수행하는 과정에서는 암호를 풀어야 했다. TPU 8tx는 연산이 진행되는 동안에도 데이터와 모델을 보호하도록 설계됐다. 모델이나 기업 데이터를 시스템 운영자에게 노출하지 않고 AI 서비스를 실행하려는 수요를 겨냥했다.

구글이 새 AI칩 'TPU 8tx', 'TPU 8i Max'. (구글클라우드 제공)

9천개 칩 연결하는 학습용 구조, 추론에 맞춰 재편

네트워크 구성도 달라졌다. TPU 8t는 9000개 이상의 칩을 하나의 포드로 연결해 초대형 모델 학습에 필요한 확장성을 확보하는 데 중점을 둔다. 반면 TPU 8tx는 상대적으로 작은 포드에 실시간 추론용 TPU 8i의 저지연 ‘보드플라이(Boardfly)’ 네트워크를 도입했다. 칩 사이 통신 경로를 단축해 TPU 8t보다 추론 지연 시간을 최대 절반으로 줄였다. 내부 데이터로 모델을 미세조정하거나 작은 모델로 증류하고 강화학습을 진행하는 데에도 활용할 수 있다. 기밀 컴퓨팅과 저지연 추론을 하나의 시스템에서 구현한 셈이다.

TPU 8i Max는 대규모 문서와 코드, 장시간 영상 등을 다루는 에이전트용이다. 기존 TPU 8i가 빠른 응답에 초점을 맞췄다면, 8i Max는 여러 에이전트가 방대한 정보를 동시에 처리할 때 발생하는 메모리 병목을 해결하는 데 무게를 뒀다. TPU 8i 칩 두 개를 하나의 패키지로 묶어 연산 성능과 온칩 SRAM, HBM 대역폭을 각각 두 배로 늘렸다.

HBM 용량은 384GB이며 메모리 대역폭은 초당 17.2TB, 온칩 SRAM은 768MB다. 같은 트레이에 두 배의 연산 자원을 집적해 랙당 연산 밀도도 높였다. 여러 에이전트가 수많은 파일을 동시에 읽고 처리하더라도 작업량을 늘리면서 응답 속도를 유지하도록 설계했다. 구글은 같은 면적에서 더 많은 작업을 처리할 수 있어 데이터센터의 공간 및 전력 효율도 개선된다고 설명했다.

마크 로메이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄책임자는 사전 브리핑에서 “에이전트는 요청을 여러 단계로 나누고 다른 모델을 호출하며 코드를 작성·실행한다”며 “단순한 모델과의 상호작용 하나가 뒤에서는 수십, 수백, 수천 건의 작업으로 바뀔 수 있다”고 설명했다. 그는 “인프라 수요가 10배, 100배, 1000배로 커지고 있다”며 단순히 TPU나 GPU를 몇 개 보유했는지보다 데이터 이동과 메모리 활용, 지연 시간 및 보안이 중요하다고 강조했다.

구글 8세대 TPU 4종 주요 사양. (자료=구글, AI 생성 이미지)

새 칩 개발 대신 시스템 재구성…개발 주기 단축

구글은 이번 신제품이 새로운 반도체 칩을 개발한 결과가 아니라 기존 칩을 활용해 시스템 구성을 바꾼 것이라고 설명했다. 기존 칩에 네트워크·메모리·보안 기능을 용도에 맞게 결합해 서로 다른 AI 작업에 특화했다는 것이다. 구글은 칩 개발에는 수년이 걸리는 반면 시스템 구성 변경을 통해 수개월 단위로 고객 수요에 대응할 수 있다고 설명했다. AI 모델과 활용 사례가 빠르게 바뀌는 상황에서 칩 개발 주기와 무관하게 제품군을 확장할 수 있다는 의미다.

로메이어 부사장은 “지난 10년간 얻은 가장 큰 교훈 중 하나는 칩만 바라봐서는 인프라를 최적화할 수 없다는 것”이라며 “메모리와 네트워크, 소프트웨어 중 하나라도 병목이 되면 전체 시스템의 성능이 제한된다”고 전했다.

하드웨어의 세분화와 함께 구글이 힘을 주는 분야는 소프트웨어다. 최근 공개한 오픈소스 ‘토치(Torch)TPU’는 개발자가 익숙한 파이토치(PyTorch) 코드와 모델을 TPU에서도 실행할 수 있게 한다. vLLM·SGLang 등 오픈소스 추론 엔진도 지원한다. 구글은 AI 모델을 훈련하는 단계부터 추론 서비스까지 동일한 개발 도구를 이어서 쓸 수 있다는 점을 내세웠다. 별도의 TPU 전용 개발 방식을 익혀야 하는 부담을 낮춰 엔비디아 GPU 중심 생태계에 접근하려는 포석이다.

로메이어 부사장은 “개발자들은 이미 익숙한 프레임워크와 투자해 온 모델을 계속 사용하고 싶어 한다”며 “설정 파일 한두 줄만 바꾸면 TPU의 기능을 활용할 수 있다”고 말했다. 또 “학습에는 TPU 8t, 추론에는 TPU 8i만 써야 하는 것은 아니다”라며 시스템별 주된 용도는 달라도 학습과 추론을 모두 실행할 수 있다고 설명했다.

GPU·TPU 하나의 자원처럼…유휴 비용까지 줄인다

구글은 엔비디아 GPU를 배제하기보다 TPU와 함께 운영하는 길을 택했다. 구글 쿠버네티스 엔진(GKE)의 정책 기능을 활용하면 특정 작업을 GPU에서 수행하다 용량이 부족할 때 TPU로 새 인스턴스를 배치할 수 있다. 로메이어 부사장은 “물리적으로 클러스터가 분리돼 있어도 고객에게는 하나의 자원 풀처럼 보인다”고 말했다. 현재 TPU를 활용하는 고객으로 앤스로픽·애플·시타델 등을 거론하며 토치TPU가 기업의 TPU 도입 범위를 넓힐 것으로 기대했다.

에이전트가 외부 도구나 사람의 응답을 기다리는 동안 가속기 자원을 낭비하지 않도록 하는 소프트웨어도 강화했다. 구글은 ‘에이전트 컴퓨트 엔진(Agent Compute Engine)’으로 유휴 에이전트 세션을 정지하고, ‘TPU Sync’로 대규모 컨텍스트를 처리할 때 메모리·상태 데이터의 이동을 최적화한다.

GKE의 동적 슬라이싱 기술은 필요에 따라 TPU 자원 구성을 바꿔 작업 시작과 장애 복구를 빠르게 하도록 설계됐다. 로메이어 부사장은 “에이전트가 상당한 시간 동안 유휴 상태에 놓인다”며 자원 활용률을 높이는 일이 작업당 비용 절감으로 이어진다고 설명했다. 그는 “고객이 각자의 워크로드에 정확히 맞는 하드웨어를 선택하면서도 공통된 운영 방식을 유지하도록 하는 것이 중요하다”고 강조했다.