모든 산업 전반의 AI 혁신을 한층 가속화하기 위해 오픈 모델 생태계를 확장하는 새로운 오픈 모델과 데이터, 도구를 공개합니다!
이번에 공개된 모델들은 에이전틱 AI를 위한 NVIDIA Nemotron 제품군, 피지컬 AI를 위한 NVIDIA Cosmos 플랫폼, 자율주행 자동차(AV) 개발을 위한 신규 NVIDIA Alpamayo 제품군, 로보틱스를 위한 NVIDIA Isaac GR00T, 생체의학 분야를 위한 NVIDIA Clara 등을 포함합니다. 이를 통해 기업들은 실제 환경에서 작동하는 AI 시스템을 개발하는 데 필요한 도구를 확보할 수 있죠.
또한 오픈소스 훈련 프레임워크와 함께 세계 최대 규모의 오픈 멀티모달 데이터 컬렉션 중 하나를 제공합니다. 여기에는 10조 개의 언어 훈련용 토큰, 50만 개의 로보틱스 궤적 데이터, 45만 5천 개의 단백질 구조 데이터, 100테라바이트(TB)의 차량 센서 데이터가 포함됩니다. 이는 언어, 로봇, 과학 연구, 자율주행 분야 전반의 혁신을 가속하기 위한 전례 없는 규모의 오픈 리소스인데요.
주요 기술 기업들이 NVIDIA의 오픈 모델 기술을 도입하고 이를 기반으로 AI 솔루션을 구축하고 있습니다. 여기에는 보쉬(Bosch), 코드래빗(CodeRabbit), 크라우드스트라이크(CrowdStrike), 코히시티(Cohesity), 포티넷(Fortinet), 프랑카 로보틱스(Franka Robotics), 휴머노이드(Humanoid), 팔란티어(Palantir), 세일즈포스(Salesforce), 서비스나우(ServiceNow), 히타치(Hitachi), 우버(Uber) 등이 있습니다.
NVIDIA Nemotron, AI 에이전트에 음성, 멀티모달 인텔리전스, 안전성 제공
최근 공개된 NVIDIA Nemotron 3 오픈 모델과 데이터를 기반으로 하는 음성, 멀티모달 검색 증강 생성(RAG), 안전성을 위한 Nemotron 모델도 새롭게 공개합니다.
- Nemotron Speech는 주요 리더보드에서 최고 성능을 기록한 오픈 모델로, 신규 자동 음성 인식(ASR) 모델을 포함해 실시간 자막과 음성 AI 애플리케이션을 위한 실시간, 저지연 음성 인식을 제공합니다. 데일리(Daily)와 모달(Modal) 벤치마크 기준으로 동급 모델 대비 최대 10배 빠른 성능을 기록했죠.
- Nemotron RAG는 문서 검색과 정보 검색 정확도를 높이기 위한 신규 임베드(embed)와 리랭크(rerank) 비전 언어 모델(VLM)을 제공하며, 다국어멀티모달 데이터 분석을 지원합니다.
- Nemotron Safety 모델은 AI 애플리케이션의 신뢰성과 안전성을 강화하며, 언어 지원을 확장한 라마 Nemotron 콘텐츠 세이프티(Llama Nemotron Content Safety) 모델과 고정확도 민감 정보 탐지를 위한 Nemotron PII를 포함합니다.
보쉬는 Nemotron Speech를 활용해 운전자가 차량과 상호작용할 수 있도록 하고 있습니다. 서비스나우는 Nemotron을 포함한 오픈 데이터세트를 활용해 자사의 아프리엘(Apriel) 모델 제품군을 훈련해 비용 효율적인 멀티모달 성능을 구현하고 있죠.
케이던스(Cadence)와 IBM은 복잡한 기술 문서 전반의 검색과 추론 성능 향상을 위해 Nemotron RAG 모델을 시범 적용 중입니다.
크라우드스트라이크, 코히시티, 포티넷은 Nemotron 세이프티 모델을 도입해 AI 애플리케이션의 신뢰성을 강화하고 있죠.
팔란티어는 전문 AI 에이전트를 위한 최초의 통합 기술 스택을 구축하기 위해 자사의 온톨로지(Ontology) 프레임워크에 Nemotron 모델을 통합하고 있습니다. 코드래빗은 Nemotron 모델을 활용해 AI 코드 리뷰를 구동하고 확장함으로써 리뷰 정확도를 유지하고, 속도와 비용 효율성을 개선하고 있죠.
또한 개발자를 위해 오픈소스 데이터세트, 훈련 리소스, 블루프린트도 함께 공개했습니다. 여기에는 MMTEB 리더보드에 등재된 라마 임베드 Nemotron 8B(Llama Embed Nemotron 8B) 모델의 데이터세트와 훈련 코드가 포함되죠. 이에 더해, AI 요청을 작업에 가장 적합한 모델로 자동 라우팅하는 방법을 제시하는 업데이트된 LLM 라우터(Router), 그리고 신규 Nemotron 스피치 ASR 모델을 구축하는 데 사용된 데이터세트도 추가로 공개했습니다.
모든 유형의 피지컬 AI와 로봇을 위한 신규 모델 공개
로봇과 자율 시스템을 위한 피지컬 AI를 개발하려면, 복잡한 실제 환경에서 인지하고 추론하며 행동할 수 있는 대규모의 다양한 데이터세트와 모델이 필요한데요. 허깅 페이스(Hugging Face)에서는 로보틱스가 가장 빠르게 성장하는 분야로 떠오르고 있으며, NVIDIA의 오픈 로보틱스 모델과 데이터세트가 플랫폼 내 다운로드 수를 주도하고 있습니다.
인간 수준의 추론과 월드 생성을 지원하는 NVIDIA Cosmos 오픈 월드 파운데이션 모델이 공개됐으며, 피지컬 AI 개발과 검증을 가속합니다.
- Cosmos Reason 2는 리더보드 상위권의 새로운 추론 VLM로, 로봇과 AI 에이전트가 물리적 세계를 보다 높은 정확도로 인식하고 이해하며 상호작용할 수 있도록 지원합니다.
- Cosmos Transfer 2.5와 Cosmos Predict 2.5는 다양한 환경과 조건에서 대규모 합성 비디오를 생성하는 선도적인 모델입니다.
또한 NVIDIA Cosmos를 기반으로, 각 피지컬 AI 구현 형태에 맞춘 오픈 모델과 블루프린트도 공개됐습니다.
- Isaac GR00T N1.6는 휴머노이드 로봇을 위해 설계된 오픈 추론 VLA 모델로, 전신 제어를 가능하게 하며 NVIDIA Cosmos Reason을 활용해 보다 향상된 추론 능력과 컨텍스트 이해를 제공합니다.
- NVIDIA Metropolis 플랫폼의 일부인 영상 검색과 요약용 NVIDIA Blueprint는 대규모 녹화와 실시간 영상을 분석해 운영 효율성과 공공 안전을 개선할 수 있는 비전 AI 에이전트를 구축하기 위한 레퍼런스 워크플로우입니다.
세일즈포스, 마일스톤(Milestone), 히타치, 우버, 바스트 데이터(VAST Data), 엔코드(Encord)는 Cosmos Reason을 활용해 교통과 업무 생산성 AI 에이전트를 개발하고 있습니다. 프랑카 로보틱스, 휴머노이드, 뉴라 로보틱스(NEURA Robotics)는 아이작 GR00T를 활용해 양산에 앞서 로봇 행동을 시뮬레이션, 훈련, 검증하고 있죠.
추론 기반 자율주행을 위한 NVIDIA Alpamayo
안전하고 확장 가능한 자율주행 기술 개발에는 복잡한 실제 환경과 다양한 시나리오를 인식하고, 추론하고, 행동할 수 있는 AI 역량이 필요합니다. 또한, 대규모로 신속한 훈련, 테스트, 개선을 지원하는 개발 워크플로우도 중요한 요소죠.
추론 기반 자율주행 자동차 개발을 진전시키기 위해 새로운 오픈 모델, 시뮬레이션 도구, 대규모 데이터세트로 구성된 NVIDIA Alpamayo 제품군을 공개합니다. 주요 구성은 다음과 같습니다.
- Alpamayo 1은 자율주행 차량을 위한 최초의 오픈 대규모 추론 VLA 모델로, 차량이 주변 환경을 이해하고 자신의 행동을 설명할 수 있도록 지원합니다.
- AlpaSim은 다양한 환경과 복잡한 엣지 케이스에서 추론 기반 AV 모델을 대상으로 폐루프(closed-loop) 훈련과 평가를 가능하게 하는 오픈소스 시뮬레이션 프레임워크입니다.
또한 가장 광범위한 지역과 조건에서 수집된 1,700시간 이상의 주행 데이터를 담은 피지컬 AI 오픈 데이터세트도 함께 공개했습니다. 여기에는 추론 아키텍처 발전에 필수적인 희귀하고 복잡한 실제 환경의 엣지 케이스가 포함되죠.
의료와 생명과학을 위한 NVIDIA Clara
비용을 절감하고 치료 속도를 높이기 위해, 디지털 발견과 실제 의료 현장의 격차를 좁히는 새로운 Clara AI 모델을 출시합니다.
연구자가 보다 안전하고 효과적이며 생산이 용이한 치료제를 설계할 수 있도록 지원하는 모델들은 다음과 같습니다.
- La-Proteina는 원자 수준의 정밀도를 갖춘 대형 단백질 설계를 가능하게 해, 기존에는 치료가 어렵다고 여겨졌던 질환 연구와 신약 후보 개발을 위한 새로운 도구를 제공합니다.
- ReaSyn v2는 제조 블루프린트를 발견 과정에 통합함으로써 AI가 설계한 약물이 실제 합성이 가능하도록 지원합니다.
- KERMT는 잠재적 약물이 인체와 어떻게 상호작용하는지를 예측해, 개발 초기 단계에서 고정밀 계산 기반 안전성 테스트를 제공합니다.
- RNAPro는 RNA 분자의 복잡한 3차원 구조를 예측함으로써 개인 맞춤형 의료의 가능성을 확장합니다.
이와 함께, 45만 5천 개의 합성 단백질 구조로 구성된 NVIDIA 데이터세트는 AI 연구자들이 보다 정교한 AI 모델을 구축하는 데 기여합니다.
NVIDIA 오픈 모델과 기술 활용하기
NVIDIA의 오픈 모델, 데이터, 프레임워크는 깃허브(GitHub), 허깅 페이스, build.nvidia.com 그리고 다양한 클라우드, 추론, AI 인프라 플랫폼을 통해 제공됩니다.
다수의 모델은 엣지부터 클라우드까지 배포를 지원하는 NVIDIA NIM 마이크로서비스 형태로도 이용할 수 있습니다.
자세한 내용은 NVIDIA Live at CES에서 다시 확인할 수 있습니다.
