초보자를 위한 온디바이스 AI 로컬 실행 가이드

사안의 배경과 현재 상황

스타트업이 선보인 새 상품이나 서비스, 인사와 수상, 행사 참여와 간담회 개최 소식 등 최신 동정을 한 눈에 보기 쉽게 전해드립니다.

반도체 전문기업 아이에이(대표 한성용)와 자회사 아이에이클라우드(대표 김성동)가 AI 반도체 기업 퓨리오사AI(대표 백준호)와 ‘국산 NPU(신경망처리장치) 기반 소형 모듈형 AI 데이터센터 공동 실증 및 사업화’ 업무협약(MOU)을 7월 14일 체결했다.

이번 협약의 무대는 아이에이그룹이 추진 중인 소형 AI 데이터센터 플랫폼 ‘네오큐브(NeoCube)’다. 네오큐브는 GPU·NPU 등 서로 다른 종류의 AI 연산 장치와 서버·저장장치·클라우드 운영 소프트웨어·전력·냉각 설비를 하나의 규격화된 단위로 통합한 소형 데이터센터로, 컨테이너처럼 필요한 곳에 빠르게 설치하고 수요에 맞춰 단계적으로 확장할 수 있도록 설계됐다. 3사는 여기에 퓨리오사AI의 데이터센터용 AI 추론 반도체 ‘레니게이드(RNGD)’를 탑재해 실제 데이터센터 환경에서 AI 추론 성능·전력 효율·운영 안정성·확장성을 검증한다.

주요 진행 경과와 사실관계

주요 입장 및 핵심 내용

“실증 사례로는 과학기술정보통신부 주관 ‘독자 AI 파운데이션 모델’ 프로젝트에서의 인프라 운영 경험이 공유됐다. 래블업은 업스테이지 컨소시엄의 인프라 파트너로서 NVIDIA B200 GPU 500대 이상 규모의 학습 클러스터를 자사 ‘Backend.AI’ 플랫폼으로 운영하며 장애 복구 시간 47% 단축 등의 성과를 거뒀다고 밝혔다.”

“김준기 래블업 CTO는 “대규모 AI 학습 환경에서는 GPU 한 대의 성능보다 전체 스택을 어떻게 설계하고 운영하느냐가 실질적인 성능을 좌우한다”며 “실무 현장에서 검증된 인프라 엔지니어링 경험을 국제 표준화 논의의 맥락에서 공유할 수 있었다”고 말했다.”

“김녹원 딥엑스 대표는 “피지컬 AI 시대에는 좋은 칩 하나만으로는 충분하지 않다”며 “딥엑스는 칩 공급을 넘어 개발자·AI 모델·하드웨어를 연결하는 오픈 피지컬 AI 생태계 구축을 본격화해 글로벌 개발자와 기업이 피지컬 AI를 더 쉽고 빠르게 구현할 수 있는 개방형 실행 플랫폼을 만들어 나가겠다”고 밝혔다.”

김준기 래블업 최고기술책임자(CTO)는 행사 첫날 ITU-T SG13(미래 네트워크 및 신흥 네트워크 기술) 산하 워크샵 ‘The Future of AI Native Communication Networks’에서 AI 인프라의 전 계층 통합 최적화(Cross-stack Optimization, 하드웨어·소프트웨어·네트워크를 통합적으로 설계·운영해 효율을 높이는 접근법)의 중요성을 발표했다. AI 모델 학습 규모가 수백 대 이상의 GPU 클러스터로 확대되면서 개별 구성 요소의 성능뿐 아니라 스케줄링·스토리지·네트워크 구간까지 전체 스택을 통합적으로 설계해야 실질적인 효율을 확보할 수 있다는 내용이다.

초저전력 온디바이스 AI 반도체 기업 딥엑스(대표 김녹원)가 울트라리틱스 욜로(YOLO), 패들패들(PaddlePaddle), 라즈베리 파이 등 글로벌 소프트웨어·하드웨어 생태계와 자사 NPU를 연결해 개발자 중심의 오픈 피지컬 AI 생태계 구축을 본격화한다고 7월 14일 밝혔다.

욜로는 실시간 비전 AI 분야에서 가장 널리 활용되는 모델 생태계 중 하나다. 딥엑스는 지난 5월 욜로를 개발한 울트라리틱스와 전략적 제휴를 체결해 개발자가 욜로 모델을 그대로 활용하면서도 로봇·지능형 카메라·산업용 장비에서 초저전력 AI 추론을 구현할 수 있도록 했다. 400만 명 이상의 개발자 기반을 가진 오픈소스 딥러닝 프레임워크 패들패들과는 지난해 8월 파트너십을 체결한 후 자사 M.2 규격 AI 가속기 ‘DX-M1’에 패들패들의 경량 AI 모델 ‘PP-OCR 5세대’를 적용했다. 지난 6월에는 누적 7300만 대 이상 판매된 라즈베리 파이 5세대용 AI 가속 프로세서 모듈을 출시해 글로벌 개발자와 교육자 대상 판매를 시작했다.

딥엑스의 전략은 개발자가 라즈베리 파이에서 AI 애플리케이션을 개발하고, 이를 PoC(개념검증)로 검증한 뒤 산업용 제품으로 확장하는 흐름을 지원하는 것이다. SDK(소프트웨어 개발 도구, Software Development Kit)와 산업용 레퍼런스를 연계하고 실습 예제와 현장 검증 프로그램을 확대해 개발에서 양산까지 이어지는 생태계를 고도화할 계획이다.

AI 디지털 헬스케어 기업 스트레스솔루션(대표 배익렬)이 중소벤처기업부 TIPS(민간투자주도형 기술창업지원) 연구개발 과제를 통해 공황발작 위험을 조기에 감지하는 ‘PAI(공황발작 초기감지, Panic Attack Index)’ 알고리즘과 생체신호 기반 실시간 초개인화 중재 기술을 개발했다고 7월 14일 밝혔다.

향후 전망 및 관전 포인트

이번 기술의 핵심은 웨어러블 기기에서 수집되는 HRV(심박변이도, Heart Rate Variability)와 ECG(심전도, Electrocardiogram) 등 생체신호를 실시간 분석해 공황발작 위험을 사전에 감지하는 PAI 알고리즘이다. 사용자의 생체신호 기준선(Baseline)과 실시간 변화를 비교·분석해 위험도를 산출하고, 위험 수준이 높아질 경우 즉각 중재가 이뤄지도록 설계됐다.

셀프스토리지(무인창고) 전문기업 아이엠박스코리아(대표 남성훈, 이하 아이엠박스)가 전국 270호점 계약을 체결했다고 7월 15일 밝혔다.

아이엠박스는 24시간 항온항습 시스템과 IoT(사물인터넷) 보안 솔루션을 전 지점에 적용해 무인으로 운영하는 셀프스토리지 서비스를 제공하고 있다. 지하층·이면도로·고층 상가 등 비선호 공간을 셀프스토리지로 전환해 장기 공실 상업용 부동산의 임대 수익을 창출하는 프롭테크(PropTech, 부동산과 기술을 결합한 서비스) 모델을 운영하고 있으며, 회사 측에 따르면 최근 30일간 신규 창업 문의가 700건 이상 접수됐다.

재테크 플랫폼 월급쟁이부자들(대표 이정환)이 자산형성 교육 커리큘럼 개발을 전담하는 신규 조직 ‘재테크팀’을 신설했다고 7월 14일 밝혔다.