주요 내용 요약
- 인공지능(AI) 기술이 단순 추론을 넘어 스스로 판단하고 복잡한 과업을 수행하는 ‘AI 에이전트’ 시대로 진입하면서, 폭발하는 데이터센터(DC) 워크로드를 감당하기 위한 인프라 혁신이 화두로 떠올랐다.
- 이에 국내 AI 시스템 반도체 스타트업 망고부스트는 이기종 하드웨어를 유기적으로 연결하는 고성능 ‘데이터처리장치(DPU)’ 설계 기술과 추론 최적화부터 다루는 풀스택 소프트웨어 솔루션을 융합해 글로벌 AI 인프라 시장의 판도를 바꾸겠다는 출사표를 던졌다.
- 회사는 특정 하드웨어 벤더에 종속되지 않는 개방형 생태계와 개발자 친화적인 환경을 무기로 ‘AI 데이터센터계의 애플’로 도약한다는 포부다.
사안의 배경과 현재 상황
인공지능(AI) 기술이 단순 추론을 넘어 스스로 판단하고 복잡한 과업을 수행하는 ‘AI 에이전트’ 시대로 진입하면서, 폭발하는 데이터센터(DC) 워크로드를 감당하기 위한 인프라 혁신이 화두로 떠올랐다.
이에 국내 AI 시스템 반도체 스타트업 망고부스트는 이기종 하드웨어를 유기적으로 연결하는 고성능 ‘데이터처리장치(DPU)’ 설계 기술과 추론 최적화부터 다루는 풀스택 소프트웨어 솔루션을 융합해 글로벌 AI 인프라 시장의 판도를 바꾸겠다는 출사표를 던졌다.
회사는 특정 하드웨어 벤더에 종속되지 않는 개방형 생태계와 개발자 친화적인 환경을 무기로 ‘AI 데이터센터계의 애플’로 도약한다는 포부다.
주요 진행 경과와 사실관계
망고부스트는 2022년 김장우 서울대 교수가 설립한 AI 시스템 반도체 딥테크 기업이다. DPU 설계 원천기술과 인프라 최적화 소프트웨어를 아우르는 ‘풀스택(Full-stack) 솔루션’을 앞세워 글로벌 시장을 공략하고 있다.
망고부스트는 단일 GPU 서버 중심의 데이터 처리 방식이 이미 물리적, 비용적 한계에 직면했다고 진단한다. 서로 다른 GPU 모델과 원격 저장공간(스토리지), CPU 등을 묶어 하나의 거대한 유기적 시스템으로 동작하게 만드는 과정에서 심각한 데이터 통신 병목이 발생하기 때문이다.
현재 망고부스트는 개발에만 수년이 소요되는 주문형 반도체(ASIC) 대신 필드 프로그래머블 게이트 어레이(FPGA) 기반 DPU 제품 공급에 주력하고 있다. 변화 무쌍한 AI 네트워크 표준에 즉각적으로 대응하기 위해서다.
이러한 기술력은 대규모 투자와 글로벌 파트너십 확대로 이어지고 있다. 최근 AMD의 리사 수 최고경영자(CEO)가 직접 방문해 긴밀한 파트너십을 논의했으며, 해외 대형 하이퍼스케일러들과의 공동 솔루션 구축도 활발히 진행 중이다. 국내에서는 주요 K-클라우드 국책 사업 참여와 더불어 국산 NPU 기업들과의 시스템 연동을 강화하고 있다.
주요 입장 및 핵심 내용
“”단일 서버 한계 직면…유기적 연결 가속하는 DPU 필수””
“이원석 망고부스트 전략기획팀 팀장은 “추론만 하던 시대에서 본격적인 AI 에이전트 시대가 열리며 처리해야 할 워크로드 단위가 비약적으로 커졌다”며 “동일 기종의 GPU 서버만으로는 전체 성능을 감당할 수 없어 이기종 장치들을 필연적으로 연결해야 하는데, 이때 발생하는 네트워크 오버헤드를 전담 가속하는 DPU가 차세대 데이터센터의 핵심 인프라로 부상하고 있다”고 강조했다.”
“망고부스트의 DPU는 시장을 과점 중인 엔비디아의 ‘블루필드(BlueField)’와 대비되는 설계 철학을 지닌다. 이 팀장은 “엔비디아 DPU는 하드웨어 가속을 최소화하고 내부 CPU 중심으로 가동되는 반면, 망고부스트는 하드웨어 가속 비중을 극대화해 극한의 네트워크 성능 향상을 이끌어낸다”고 설명했다.”
현재 누적 투자 유치액 1억 달러(약 1300억원)를 넘긴 상태로, 시리즈 B 펀딩 마무리도 눈앞에 뒀다. 미국 법인을 거점으로 글로벌 인재 확보에도 사활을 걸고 있다.
‘망고 LLM 부스트’로 추론 최적화…SDK로 DPU 문턱 낮춰
망고부스트는 AI 추론 소프트웨어 ‘망고 LLM 부스트’와 소프트웨어 개발 키트(SDK)를 앞세워 AI 인프라 영역을 넓히고 있다. DPU를 넘어 추론 최적화와 데이터 이동, AI 에이전트 라우팅까지 아우르는 SW 스택을 구축에 한창이다.
김창수 망고부스트 어드밴스드 AI 팀장은 망고 LLM 부스트가 가상거대언어모델(vLLM) 같은 일반 LLM 추론 프레임워크보다 넓은 범위를 다룬다고 강조했다. 기존 프레임워크가 GPU에서 LLM을 구동하는 데만 초점 맞춘다면, 망고 LLM 부스트는 여러 추론 작업을 관리하고 사용자 요청을 적절한 GPU로 보내는 기능까지 지원한다는 설명이다.
김 팀장은 AI 에이전트 시대에 망고 LLM 부스트 역할이 더 커질 것으로 봤다. 에이전트가 긴 대화와 복잡한 작업을 수행할수록 LLM이 앞서 계산한 내용을 임시 저장하는 ‘KV 캐시’도 덩달아 늘어나서다.
향후 전망 및 관전 포인트
망고부스트는 SDK를 통해 DPU 사용 문턱도 낮추고 있다. 개발자가 DPU 구조나 복잡한 저수준 프로그래밍을 직접 익히지 않아도 주요 기능을 쓸 수 있도록 지원하는 방식이다.
망고인퍼런스는 추론 환경에서 데이터 병목을 해결하는 DPU 부스트X(BoostX) 기술과 에이전트 운영체제(OS)를 효율화하는 ‘LLM 부스트’를 결합한 형태다. 개발자가 익숙한 API 형태로 AI 인프라 기능을 손쉽게 활용할 수 있도록 지원한다. 개발자와 스타트업 등은 HW 를 직접 제어하거나 복잡한 구현을 수행할 필요 없이 API 호출만으로 필요한 기능을 간편하게 활용할 수 있다. 망고인퍼런스는 올해 하반기 출시될 예정이다.
중국 알리바바 그룹의 클라우드 서비스 기업인 알리바바 클라우드가 한국에서 세 번째 데이터센터를 가동한다. 제2 데이터센터를 개소한 지 1년만으로, 국내에서 증가하는 인공지능(AI) 수요에 맞춰 인프라 확보에 속도를 내고 있다.
2016년 한국 시장에 진출한 알리바바 클라우드는 2022년 첫 데이터센터를 설립했고, 지난해 제2 데이터센터를 개소하며 한국 AI 인프라 투자를 이어왔다. 신규 가동하는 제3 데이터센터의 규모나 처리 용량 등 구체적인 정보는 공개하지 않았다. 데이터센터 3곳은 모두 서울에 있다.
정리하며
‘클라우드 스토리지 가성비와’ 이슈와 관련하여 앞으로 새롭게 확인되는 공식 소식과 진행 상황도 신속하게 전해드리겠습니다.