SK텔레콤의 A.X K2, LG AI연구원의 K-EXAONE 2.0, 업스테이지의 Solar Open 2, 모티프 테크놀로지스의 Motif-3 등 한국의 주요 오픈 모델을 위한 NVIDIA Dynamo 최적화 배포 레시피가 공개됐습니다!
AI 모델의 규모가 단일 GPU의 처리 용량을 넘어설 경우 여러 GPU에 걸쳐 모델을 분산해야 하며, 성능을 유지하려면 요청 라우팅과 GPU 간 통신을 정교하게 조율해야 하는데요.
NVIDIA Dynamo는 데이터센터 규모의 멀티노드 환경에서 AI 모델을 배포할 수 있도록 설계된 오픈소스 분산 추론 서빙 프레임워크입니다. 요청 라우팅과 통신을 효율적으로 처리해 추론 성능을 극대화하죠.
이번 배포 레시피는 NVIDIA B200 GPU에 최적화돼 있으며, 복잡한 배포 설정에 대한 부담을 줄이면서 기본 설정만으로도 최대 2배의 성능을 제공합니다. 이를 통해 개발자들은 한국의 주요 오픈 모델을 더욱 빠르게 프로덕션 환경에 배포하고, 보다 많은 사용자가 활용할 수 있는 ‘모두의 AI’ 서비스를 개발하고 확대할 수 있습니다.
NVIDIA Dynamo에 대한 자세한 내용을 확인해 보세요.