빠르게 진화하는 AI 환경에서 차세대 물리 AI 시스템을 구현하기 위해서는 물리적 실제 환경에서 결과를 정확하게 시뮬레이션하고 예측할 수 있는 모델을 개발하는 것이 점점 더 중요해지고 있습니다.
NVIDIA의 연구 담당 부사장이자 IEEE 펠로우인 Ming-Yu Liu가 NVIDIA AI 팟캐스트에 참여해 물리적 환경을 시뮬레이션할 수 있는 강력한 신경망인 월드 파운데이션 모델(WFM)의 중요성에 대해 밝혔습니다. WFM은 텍스트 또는 이미지 입력 데이터에서 상세한 비디오를 생성하고 현재 상태(이미지 또는 비디오)와 동작(프롬프트 또는 제어 신호 등)을 결합하여 장면이 어떻게 전개될지 예측할 수 있습니다.
“월드 파운데이션 모델은 물리 AI 개발자에게 중요합니다.”라고 Liu는 말합니다. “다양한 환경을 상상할 수 있고 미래를 시뮬레이션할 수 있으므로 이 시뮬레이션을 기반으로 올바른 결정을 내릴 수 있습니다.”
이는 실제 세계와 안전하고 효율적으로 상호 작용해야 하는 로봇이나 자율 주행 자동차 같은 물리 AI 시스템에 특히 유용합니다.
월드 파운데이션 모델이 왜 중요한가?
월드 모델을 구축하려면 방대한 양의 데이터가 필요한 경우가 많은데, 수집하기 어렵고 비용이 많이 들 수 있습니다. WFM은 합성 데이터를 생성하여 훈련 프로세스를 향상시키는 풍부하고 다양한 데이터 세트를 제공할 수 있습니다.
또한 현실 세계에서 실제 AI 시스템을 훈련하고 테스트하는 것은 리소스 집약적일 수 있습니다. WFM은 개발자가 실제 시험과 관련된 위험과 비용 없이 통제된 환경에서 이러한 시스템을 시뮬레이션하고 테스트할 수 있는 가상 3D 환경을 제공합니다.
월드 파운데이션 모델에 대한 오픈 액세스
CES 전시회에서 NVIDIA는 로봇 및 자율 주행 자동차와 같은 물리 AI 시스템의 개발을 가속화하는 생성형 WFM 플랫폼인 NVIDIA Cosmos를 발표했습니다.
이 플랫폼은 개방적이고 액세스 가능하도록 설계되었으며, 확산(Diffusion) 및 자동 회귀(Auto-regressive) 아키텍처를 기반으로 사전 학습된 WFM과 동영상을 트랜스포머 모델용 토큰으로 압축할 수 있는 토큰라이저가 포함되어 있습니다.
Liu는 이러한 개방형 모델을 통해 기업과 개발자는 대규모 모델을 구축하는 데 필요한 모든 요소를 갖추게 되었다고 설명합니다. 또한 개방형 플랫폼은 팀에게 모델을 훈련하고 파인튜하기 위한 다양한 옵션을 탐색하거나 특정 요구 사항에 따라 자체적으로 구축할 수 있는 유연성을 제공합니다.
산업 전반의 AI 워크플로우 향상
WFM은 다양한 산업 분야에서 AI 워크플로우와 개발을 향상시킬 것으로 기대됩니다. Liu는 특히 두 가지 분야에서 큰 영향을 미칠 것으로 보고 있습니다:
“자율 주행 자동차 산업과 휴머노이드[로봇] 산업은 세계 모델 개발에서 많은 혜택을 받을 것입니다.”라고 Liu는 말합니다. “[WFM]은 현실 세계에서 구현하기 어려운 다양한 환경을 시뮬레이션하여 에이전트가 각각 어떻게 작동하는지 확인할 수 있습니다.”
자율 주행 자동차의 경우 이러한 모델은 포괄적인 테스트와 최적화가 가능한 환경을 시뮬레이션할 수 있습니다. 예를 들어, 자율 주행 자동차를 도로에 배치하기 전에 다양한 시뮬레이션 기상 조건과 교통 시나리오에서 테스트하여 안전하고 효율적으로 작동하는지 확인할 수 있습니다.
로보틱스에서 WFM은 다양한 환경에서 로봇 시스템의 동작을 시뮬레이션하고 검증하여 배포 전에 안전하고 효율적으로 작업을 수행할 수 있는지 확인할 수 있습니다.
NVIDIA는 물리 AI 개발의 과제를 해결하고 시스템을 발전시키기 위해 1X, Huobi, XPENG와 같은 기업들과 협력하고 있습니다.
“아직 월드 파운데이션 모델 개발의 초기 단계에 있습니다만, 유용하지만 더 유용하게 만들어야 합니다.”라고 Liu는 말합니다. “또한 이러한 월드 모델을 실제 AI 시스템에 가장 효과적으로 통합하는 방법을 연구해야 합니다.”
Ming-Yu Liu와 함께하는 팟캐스트를 듣거나 대본을 읽어보세요.
NVIDIA 젠슨 황 CEO의 CES 오프닝 키노트를 시청하고, NVIDIA Cosmos와 생성형 AI, 그리고 로보틱스 분야의 새로운 발표 내용들에 대해 자세히 알아보세요.