X
AI 검색
AI

GPU 더 안 늘리고 처리량 최대 95%↑…노타, 금융권 AI 코딩 에이전트 공급

이 기사 AI가 핵심만 딱!
애니메이션 이미지
이소현 기자I 2026.11.16 08:48:17

Google 검색에서 이데일리 기사를 더 자주 볼 수 있습니다.

두베와 금융권 특화 온프레미스 AI 사업 협력
LLM 경량화·추론·서빙부터 서버까지 통합 공급
첫 답변 대기시간 절반 이하로 단축
외부 API 없이 폐쇄망서 소스코드·업무정보 보호

[이데일리 이소현 기자] AI 추론 효율화 기업 노타(486990)가 금융권의 폐쇄망에서도 사용할 수 있는 인공지능(AI) 코딩 에이전트 시장 공략에 나선다. 대규모언어모델(LLM)을 최적화해 같은 GPU 환경에서 분당 처리할 수 있는 요청을 최대 95% 늘리고 첫 답변 대기시간은 절반 이하로 줄였다.

노타가 금융 IT 기업 두베와 금융권 특화 AI 코딩 에이전트용 최적화 LLM 및 서버 공급 계약을 체결했다.(사진=노타)
노타가 금융 IT 기업 두베와 금융권 특화 AI 코딩 에이전트용 최적화 LLM 및 서버 공급 계약을 체결했다.(사진=노타)
노타는 금융 IT 기업 두베와 금융권 특화 온프레미스 AI 코딩 에이전트 사업을 위한 최적화 LLM·서버 공급 계약을 체결하고 납품을 완료했다고 16일 밝혔다.

노타는 두베의 AI 코딩 에이전트에 맞춰 모델 경량화와 추론·서빙 환경 최적화, 서버 구성까지 통합 공급한다.

최적화 결과 동일한 GPU 환경에서 적용 전보다 분당 처리 요청 수가 약 58~95% 증가했고, 답변을 요청한 뒤 첫 토큰이 생성될 때까지 걸리는 시간은 절반 이하로 줄었다.

같은 하드웨어에서 더 많은 동시 사용자의 요청을 처리할 수 있어 기업 입장에서는 AI 에이전트 이용자가 늘어날 때 추가 GPU를 도입해야 하는 부담을 줄일 수 있다는 설명이다.

외부 API 없이 내부 서버에서 LLM 구동

이번 사업은 보안 규제로 클라우드 기반 생성형 AI 활용에 제약이 있는 금융사를 겨냥했다.

금융권 개발 환경에서는 소스코드와 내부 업무정보를 외부로 전송하기 어렵다. 노타와 두베가 공급하는 AI 코딩 에이전트는 고객사 내부 서버에서 LLM을 실행하는 온프레미스 방식으로 운영된다.

외부 AI API를 호출하지 않아 소스코드와 사내 개발 정보 등을 외부로 보내지 않고 AI를 활용할 수 있다.

두베의 AI 코딩 에이전트는 개발 요건 분석·정리부터 화면과 인터페이스 개발 등 개발 관련 업무를 지원한다. 각 금융사의 코딩 규칙과 사내 라이브러리도 반영할 수 있다.

수만 토큰 요청에도 GPU 효율 높여

노타는 한 번의 요청에서 대량의 코드와 개발 지침을 처리해야 하는 코딩 에이전트의 특성에 맞춰 최적화 기술을 적용했다.

수만개 토큰이 포함되는 요청이 반복되고 동시 사용자가 늘어나면 GPU 메모리 사용량이 커지고 응답 속도가 떨어질 수 있다.

노타는 양자화 기술을 통해 LLM의 메모리 사용량을 줄이는 동시에 답변을 만드는 추론 과정과 여러 요청을 동시에 처리하는 서빙 환경을 함께 최적화했다.

이번 계약을 계기로 노타와 두베는 금융권 고객에게 온프레미스 AI 코딩 에이전트 도입을 공동 제안할 예정이다. 고객별 사용자 규모와 보안·운영 환경에 맞춰 최적화 LLM과 서버 공급도 확대한다.

노타는 금융권뿐 아니라 외부 클라우드 사용이 제한되는 다른 산업으로 AI 추론·서빙 최적화 사업을 확장한다는 계획이다.

채명수 노타 대표는 “기업용 AI 에이전트 시장이 확대되면서 모델의 성능뿐 아니라 제한된 GPU 자원에서 얼마나 많은 요청을 안정적으로 처리할 수 있는지가 실제 도입 비용과 운영 효율을 결정하는 핵심 요소가 되고 있다”며 “이번 계약은 노타의 AI 모델 경량화 및 추론·서빙 최적화 기술을 실제 기업용 AI 애플리케이션과 결합해 공급한다는 점에서 의미가 크다”고 말했다.

이어 “금융권처럼 보안과 인프라 운영 제약이 높은 환경에서도 AI 에이전트를 효율적으로 활용할 수 있도록 지원하고, 다양한 산업 파트너들과 협력해 최적화 소프트웨어 및 AI 실행 환경 공급 사업을 확대해 나가겠다”고 밝혔다.

이 기사 AI가 핵심만 딱!
애니메이션 이미지

주요 뉴스

ⓒ종합 경제정보 미디어 이데일리 - 상업적 무단전재 & 재배포 금지