AI 애호가와 개발자들이 더욱 강력한 에이전틱 AI를 로컬 환경에서 구축하고 맞춤 설정 및 실행하는 것이 훨씬 쉬워지고 있습니다.
8월 한 달 동안 NVIDIA는 로컬 AI 발전을 이끌고 있는 파트너와 오픈소스 커뮤니티를 비롯해, 생태계 전반에서 등장한 다양한 모델과 애플리케이션, 도구를 집중 조명합니다. 여기에는 NVIDIA의 최신 오픈 모델, 소프트웨어, 개발자 도구는 물론, 사용자들이 로컬 AI를 시작하는 데 도움을 주는 가속 컴퓨팅, 라이브러리, 교육 리소스가 포함됩니다.
새로운 오픈 모델 등 다양한 AI 기술 공개… NVIDIA GPU로 가속
NVIDIA는 최근 로보틱스, 자율주행차, 비전 AI를 위한 40억 파라미터 규모 오픈 월드 모델 Cosmos 3 Edge를 공개했습니다. 이는 Cosmos 3 Nano의 4분의 1 크기로, NVIDIA DGX Spark와 NVIDIA Jetson에서 실행이 가능합니다.
미니맥스-H3(MiniMax-H3)는 텍스트, 이미지, 비디오, 오디오 또는 이들을 조합한 입력을 바탕으로 비디오와 동기화된 스테레오 오디오를 생성하는 330억 파라미터 규모 오픈 웨이트 모델입니다. 크리에이터는 컴피UI를 통해 미니맥스-H3를 활용할 수 있으며, NVIDIA GPU에 최적화된 체크포인트를 통해 로컬에서 실행할 수 있습니다.
풀사이드 AI(Poolside AI)는 1,180억 파라미터 규모 오픈 웨이트 에이전틱 코딩 모델 라구나 S 2.1(Laguna S 2.1)을 공개했다. 이는 수 시간에 걸친 장시간 작업을 수행할 수 있으며, NVFP4 체크포인트를 활용하면 정확도를 유지하면서도 컴퓨팅, 메모리 요구량을 낮춰 단일 NVIDIA DGX Spark에서 로컬로 실행할 수 있습니다.
딥시크는 최근 2,840억 파라미터 규모 전문가 혼합 모델이자 130억 개 활성 파라미터와 100만 토큰 컨텍스트 윈도우를 지원하는 딥시크 V4 플래시를 업데이트했습니다. 개발자는 현재 제공되는 커뮤니티 개발 GGUF 버전을 활용해 NVIDIA DGX Station에서 로컬로 실행할 수 있습니다.
싱킹 머신스 랩(Thinking Machines Lab)의 잉클링-스몰(Inkling-Small)은 텍스트, 이미지, 오디오 전반에서 네이티브 추론을 지원하고 사고 수준을 조절할 수 있는 프론티어 오픈 웨이트 멀티모달 모델입니다. NVIDIA GB300 NVL72에서 훈련된 이 모델은 2,760억 파라미터 규모에 달하는데요. 토큰당 120억 파라미터만 활성화되며, 단일 DGX Station 또는 두 대의 DGX Spark 시스템에서 실행할 수 있습니다. NVIDIA Blackwell에 최적화된 NVFP4 체크포인트는 허깅페이스(Hugging Face)에서 제공된다.
언슬로스는 언슬로스 데스크톱(Unsloth Desktop)을 곧 출시합니다. 이는 로컬 모델 추론, 이미지, 비디오 디퓨전, 파인튜닝, 에이전트 통합, 웹 연구, 코드 실행 기능을 하나의 완전한 오픈소스 데스크톱 애플리케이션으로 통합하는데요. 개발사에 따르면 언슬로스 데스크톱은 AI 모델을 로컬에서 훈련하고 실행할 수 있는 최초의 데스크톱 애플리케이션입니다.
알리바바(Alibaba)는 최근 140억 파라미터 규모 오픈 웨이트 모델 완-애니메이트-2(Wan-Animate-2)를 공개했습니다. 이 모델은 움직이는 비디오의 동작과 표정을 정적인 캐릭터 이미지에 적용하며, 사람, 만화 캐릭터, 로봇, 동물 등 다양한 캐릭터에 활용될 수 있습니다. 완-애니메이트-2는 컴피UI를 통해 지원되며, 애플 M3 울트라(Apple M3 Ultra) 대비 NVIDIA RTX PRO 6000 Blackwell 48GB에서 최대 26배, NVIDIA RTX 5090에서 최대 22배 빠르게 생성할 수 있습니다.
LTX, LTX-2.5 공개
LTX-2.5는 LTX의 선도적인 연구팀이 개발한 최신 오픈 월드 비디오 생성 모델입니다. 미디어, 엔터테인먼트, 로보틱스, 실시간 생성 등 다양한 활용 사례의 토대를 제공하며, 더욱 높은 품질의 영상과 향상된 프롬프트 반영을 지원하죠. 또한 생성 과정에서 캐릭터, 장면, 음성의 일관성을 더욱 안정적으로 유지할 수 있습니다.
새로운 멀티샷 기능을 통해 여러 장면 전환으로 구성된 시퀀스를 생성하면서도 장면 간 연속성을 유지할 수 있습니다. 또한 업그레이드된 디퓨전 비디오 디코더는 시각적 충실도를 높이고 아티팩트를 줄이는데요. 기존 콘텐츠는 생성형 편집 기능을 활용해 세부 요소를 수정할 수 있어, 처음부터 다시 제작하지 않고도 결과물을 보완하고 완성도 높은 품질을 유지할 수 있습니다.
새로운 프롬프트 향상 기능은 Gemma4 E2B와 맞춤형 Gemma4 12B 텍스트 인코더를 탑재해 프롬프트 반영 성능을 크게 향상시키며, 생성 결과를 더욱 세밀하게 제어할 수 있도록 합니다.
새로운 디퓨전 비디오 디코더는 기존의 변분 오토인코더(variational autoencoder) 비디오 디코더를 보완하며, 추가적인 디코딩 경로를 제공해 최종 렌더링 품질을 향상시킵니다.
LTX-2.5는 NVIDIA RTX GPU, DGX Spark, DGX Station 시스템에 최적화됐습니다. NVIDIA RTX 6000 PRO GPU에서 최대 20% 빠른 성능과 40% 메모리 절감 효과를 제공하는데요. 크리에이터는 바로 사용할 수 있는 컴피UI 워크플로우를 통해 NVFP4, 패스트비디오(FastVideo), 컴피UI(ComfyUI) 최적화 기능을 활용해 텍스트, 이미지, 비디오 간 변환 생성 작업을 로컬에서 수행할 수 있습니다.
여기에서 LTX-2.5에 대한 자세한 내용을 확인할 수 있으며, NVIDIA 하드웨어에서 고품질 로컬 비디오 생성을 시작하는 방법을 알아볼 수 있습니다.
NVIDIA, 메타 ‘뮤즈 글리머’ 통해 상시 구동 로컬 에이전틱 AI 가속
최근 메타(Meta)는 300억 개의 파라미터를 갖춘 밀집형 오픈 웨이트 모델이자 12만 토큰 이상의 컨텍스트 윈도우를 지원하는 뮤즈 글리머(Muse Glimmer)를 공개했습니다. 뮤즈 글리머는 코딩과 로컬 에이전틱 AI에 특화된 모델이죠.
NVIDIA GeForce RTX PC, NVIDIA DGX Spark, DGX Station, NVIDIA Jetson에 최적화된 뮤즈 글리머는 RTX 5090에서 초당 200토큰 이상의 성능을 제공하는데요. 이를 통해 상시 구동 에이전트가 단일 시스템에서 데이터를 로컬로 처리하고, 복잡한 다단계 작업을 수행할 수 있습니다.
뮤즈 글리머는 밀집형 아키텍처와 하이브리드 어텐션을 적용해 에이전트가 장시간 작업을 수행하고, 도구를 사용하며, 여러 단계에 걸쳐 컨텍스트를 유지할 때 필요한 처리·메모리 자원을 효율적으로 관리할 수 있습니다.
상시 구동 로컬 에이전트 워크플로우에 최적화된 300억 파라미터 모델인 뮤즈 글리머는 단일 소비자용 GPU가 탑재된 PC에서도 실행할 수 있을 만큼 가벼우며, 로컬 에이전트와 함수 호출, 로컬 코딩, AI 응답 자동 품질 평가(LLM-as-a-judge) 등 다양한 활용 사례를 지원합니다.
AI 애호가와 개발자는 NemoClaw를 활용해 에이전트를 구축하고, NVIDIA NeMo Automodel을 통해 뮤즈 글리머를 로컬에서 파인튜닝할 수 있습니다. 이 과정에서 개인 또는 특화 데이터를 시스템 외부로 전송하지 않고 활용할 수 있죠. 뮤즈 글리머는 다음과 같은 용도로 설계됐습니다.
- 맞춤형 에이전트: 특정 작업, 도구, 데이터, 전문 분야에 맞게 모델을 조정할 수 있습니다.
- 개인 데이터 처리: 로컬 파일, 문서, 이메일, 메시지를 읽고 요약하며 필요한 작업을 수행할 수 있습니다.
- 인증 정보 처리: 애플리케이션 프로그래밍 인터페이스 키, 인증 토큰, 기타 민감한 정보를 사용하면서 추론은 기기 내에서 수행할 수 있습니다.
- 다단계 작업: 여러 단계의 도구 호출을 수행하고 오류나 예상치 못한 결과에 대응할 수 있습니다.
- 장시간 실행 워크플로우: 대규모 프로젝트를 여러 단계로 나누고, 진행 상황을 추적하며, 컨텍스트를 유지한 채 중단된 세션을 이어갈 수 있습니다.
개발자는 텍스트 생성, 이미지, 추론, 도구 사용을 지원하는 vLLM을 비롯해, BF16과 양자화된 GGUF 체크포인트를 활용할 수 있습니다. 이를 통해 텍스트와 이미지 워크로드를 지원하는 라마.cpp 등 다양한 추론 프레임워크에서 뮤즈 글리머를 실행할 수 있습니다. 라마.cpp는 생성 속도를 높이는 DFlash 예측 디코딩을 지원합니다.
단일 NVIDIA GeForce RTX 5090에서 실행되는 뮤즈 글리머는 클라우드 기반 추론 의존도를 낮추면서 개인 파일, 애플리케이션, 커뮤니케이션 전반에서 상시 구동 에이전트를 사용할 수 있도록 지원합니다.
여기에서 메타 뮤즈 글리머에 대한 자세한 내용을 확인할 수 있습니다. NVIDIA 기술 블로그에서는 NVIDIA 하드웨어를 활용한 로컬 AI와 파인튜닝 방법을 확인할 수 있습니다.
NVIDIA Sync Cluster Assistant로 DGX Spark 성능 확장
GLM 5.2, 딥시크 V4 플래시(DeepSeek V4 Flash)와 같은 최신 오픈 모델은 클라우드 수준의 인텔리전스를 로컬 시스템에 제공하며, 코딩이나 연구 에이전트와 같은 고도화된 워크로드를 지원합니다. 그러나 이러한 대규모 모델을 실행하려면 여러 대의 GPU 또는 DGX Spark 시스템을 함께 사용해야 하죠.
이러한 대규모 모델을 더욱 빠르게 실행하기 위해 NVIDIA Sync 앱 업데이트를 활용하면 여러 대의 DGX Spark 시스템을 손쉽게 하나의 클러스터로 구성할 수 있습니다. 이를 통해 필요한 메모리 용량과 추론 성능, 훈련 처리량을 확보할 수 있습니다.
윈도우(Windows)와 맥OS(macOS)에서 사용 가능한 NVIDIA Sync는 연결된 시스템을 자동으로 감지하고, 테일스케일(Tailscale)을 통한 비공개·보안 원격 접속을 지원합니다. 또한 개발자는 별도의 네트워크 설정이나 터미널 명령어를 복사해 실행할 필요 없이 복수의 DGX Spark 시스템에서 애플리케이션을 실행할 수 있습니다.
NVIDIA Sync의 Cluster Assistant는 두 대 이상의 DGX Spark 시스템을 고속 클러스터로 구성하는 작업을 자동화합니다. 개발자는 NVIDIA ConnectX-7 포트로 시스템을 연결하기만 하면 되며, 이후 NVIDIA Sync가 네트워크 구성부터 노드 간 워크로드 분배, 시스템 상태 모니터링까지 수행합니다.
DGX Spark에서 에이전틱 AI를 시작하려면 NemoClaw, OpenClaw, Hermes Agent, OpenShell 플레이북을 확인하면 됩니다.
DGX Spark 추가 업데이트
8월 말에는 개발자를 위한 두 가지 새로운 기능이 추가될 예정입니다.
곧 DGX Spark에서 구글 크롬(Google Chrome)을 네이티브 ARM64 리눅스 빌드로 사용할 수 있게 됩니다. DGX Dashboard에서 한 번의 클릭으로 설치할 수 있으며, 구글 계정 동기화, 전체 확장 프로그램 생태계, 기기 간 연속성 등 다른 플랫폼에서 기본적으로 제공되는 다양한 기능을 DGX 스파크에서도 이용할 수 있죠. 또한 한 번의 로그인으로 노트북에서 사용하던 브라우저 환경을 DGX 스파크에서도 그대로 이어서 사용할 수 있습니다.
아울러 새로운 NVIDIA Sync Resource Monitor를 통해 개별 DGX Spark 또는 전체 클러스터의 CPU, GPU 사용량을 실시간 혹은 과거 데이터로 확인할 수 있습니다. 별도의 모니터링 소프트웨어나 설정은 필요하지 않습니다. 사용자는 한눈에 확인할 수 있는 시각화 기능을 통해 워크로드 진행 상황을 추적하고, 작업이나 모델을 추가하기 전에 사용 가능한 용량을 확인하며, 병목 현상이나 예상치 못한 동작을 신속하게 파악할 수 있는데요. 마퀴 줌(Marquee zoom) 기능을 사용하면 전체적인 상황에서 특정 워크로드가 실행된 시점까지 범위를 좁혀 확인할 수 있어, 문제를 더욱 신속하게 해결하고 시스템을 효율적으로 활용할 수 있습니다.
NVIDIA, 빠르고 전문화된 에이전틱 작업을 빠르게 만드는 ‘Nemotron 3.5 Lightning’ 공개
NVIDIA는 Nemotron 3 모델 제품군을 확장하는 동시에, 상시 작동하는 에이전트를 위한 30B 규모의 맞춤형 오픈 전문가 혼합(Mixture-of-Experts, MoE) 모델인 Nemotron 3.5 Lightning을 공개했습니다.
이는 동급 오픈 모델 대비 토큰 생성 속도를 최대 4배 높이고, 작업 완료 시간을 30% 단축합니다.
Nemotron 3.5 Lightning은 오픈 웨이트 방식으로 제공되는데요. 따라서 AI 애호가와 개발자들은 자체 데이터를 활용해 파인튜닝함으로써 특정 작업과 관심 분야, 워크플로우에 더욱 적합하게 모델을 맞춤 설정할 수 있습니다. 예를 들어 다음과 같은 방식으로 모델을 훈련시킬 수 있습니다:
- 선호하는 스타일로 작문: 이메일, 보고서 또는 기타 문서를 작성할 때 원하는 문체와 형식, 용어를 일관되게 적용합니다.
- 전문 분야 학습: 사진, 게이밍, 3D 디자인과 같은 분야에서 사용되는 언어와 일반적인 작업을 더욱 잘 이해하도록 학습합니다.
- 특정 방식으로 코딩: 코드를 작성하거나 검토하고 리팩터링할 때 선호하는 코딩 규칙과 프레임워크, 테스트 방식을 따르도록 합니다.
이러한 파인튜닝 모델은 애플리케이션, 파일, 기타 도구의 접근 기능을 결합해 보다 개인화된 로컬 에이전틱 AI 경험을 제공합니다. 이메일과 캘린더 관리를 지원하는 어시스턴트부터 일상적 일과를 처리하는 스마트홈 에이전트, 개발자와 함께 로컬 코드베이스에서 작업하는 코딩 도우미까지 다양한 활용이 가능하죠.
NVIDIA는 Nemotron 3.5 Lightning 모델의 최적화된 로컬 배포 환경을 위해 vLLM, 올라마(Ollama), 라마.cpp(llama.cpp), LM 스튜디오(LM Studio)와 협력했습니다. 이를 통해 개발자는 NVFP4와 GGUF 형식 모델 중 필요에 맞는 방식을 선택할 수 있습니다. 언슬로스(Unsloth) 역시 최적화·양자화된 모델을 지원하며, 언슬로스 스튜디오(Unsloth Studio)를 통한 효율적인 로컬 배포를 지원합니다.
Nemotron 3.5 Lightning은 NVIDIA RTX PC, NVIDIA DGX Spark, OEM GB10 시스템, NVIDIA Jetson에서 로컬로 실행할 수 있으며, RTX PRO 워크스테이션(RTX PRO Workstation), NVIDIA DGX Station과 GB300 deskside 시스템, 데이터센터, 클라우드 환경으로 확장할 수 있다. 에이서(Acer), 에이수스(ASUS), 델 테크놀로지스(Dell Technologies), 익잭트(Exxact), 기가바이트(GIGABYTE), HP, 레노버(Lenovo), MSI, 슈퍼마이크로(Supermicro)에서 NVIDIA Blackwell 시스템을 제공함에 따라, 사용자는 자신의 필요에 맞는 다양한 기기와 폼팩터를 선택할 수 있습니다.
생성형 AI 도입이 확대되면서 기업들은 프론티어 인텔리전스를 유지하면서도 증가하는 토큰 비용을 관리할 방법을 모색하고 있습니다. NVIDIA NeMo Switchyard는 오픈소스 라우팅 라이브러리로, 정확도와 속도, 비용을 기준으로 에이전트 워크플로우의 각 단계를 가장 적합한 모델로 자동 연결하는데요. 또한 개발자가 작업에 따라 다양한 모델과 제공업체를 유연하게 활용할 수 있도록 지원합니다.
내부 벤치마크에 따르면, NeMo Switchyard는 각 단계를 여러 모델로 분산하는 방식으로 프론티어 수준의 작업 완료 성능을 보였습니다. 또한 벤치마크 작업 완료 비용을 오퍼스 4.8(Opus 4.8) 대비 약 3분의 1 수준으로 낮췄죠. NeMo Switchyard는 깃허브(GitHub)에서 이용할 수 있습니다.
자세한 내용은 Nemotron 3.5 Lightning, NeMo Switchyard, Jetson AI 기술 블로그에서 확인할 수 있습니다. Jetson AI Lab tutorials을 참고해 엣지 환경에서 구축을 시작할 수 있으며, 실제 Jetson 프로젝트를 살펴볼 수 있습니다. Nemotron 3.5 Lightning은 오픈라우터(OpenRouter)를 통해서도 이용할 수 있으며, build.nvidia.com에서 NVIDIA NIM microservice로 제공됩니다. 또한 다양한 NVIDIA Cloud Partner, 사후 훈련 플랫폼, 추론 플랫폼, 클라우드 서비스 제공업체를 통해서도 이용할 수 있습니다. NeMo Switchyard는 깃허브에서 제공됩니다.