콘텐츠 제작을 위한 생성형 AI 워크플로우를 실행하고 구축하는 오픈소스 노드 기반 그래픽 인터페이스인 ComfyUI가 지난 달에 주요 업데이트를 발표했습니다. NVIDIA RTX GPU의 성능을 최대 40% 향상시키고, Wan 2.2, Qwen-Image, FLUX.1 Krea [dev], Hunyuan3D 2.1 등 새로운 AI 모델에 대한 지원이 포함됩니다.
NVIDIA는 또한 Stable Diffusion 3.5 및 FLUX.1 Kontext와 같은 인기 확산 모델의 NVIDIA TensorRT 최적화 버전을 NVIDIA NIM 마이크로서비스로 출시하여, 사용자가 ComfyUI에서 이러한 모델을 최대 3배 더 빠르고 50% 적은 VRAM으로 실행할 수 있도록 했습니다.
또한 NVIDIA RTX Remix — 모더가 클래식 게임을 리마스터할 수 있는 플랫폼 — 의 업데이트가 이번에 새롭게 되었으며, 이를 통해 클래식 타이틀에 새로운 생명을 불어넣는 놀라운 비주얼을 제공하는 고급 패스 트레이싱 파티클 시스템이 추가되었습니다.
ComfyUI v3.57은 RTX와 함께 성능을 향상시킵니다.
NVIDIA는 ComfyUI와 협력하여 AI 모델 성능을 최대 40%까지 높였습니다. 비교하자면, GPU 세대 업그레이드는 일반적으로 20~30%의 성능 향상만 제공합니다.
앱에서 확산 모델의 성능과 효율성을 최적화하는 데 관심이 있는 개발자는 개발자 포럼에서 NVIDIA가 어떻게 이러한 워크로드를 가속화하는지 더 읽어보기를 통해 자세히 알아볼 수 있습니다.
RTX로 가속화된 최첨단 AI 모델
지난 몇 주 동안 뛰어난 AI 콘텐츠 제작 모델들이 출시되었으며, 모두 ComfyUI에서 사용할 수 있습니다.
Wan 2.2는 PC에서 놀라운 품질과 제어력을 제공하는 새로운 비디오 생성 모델입니다. Wan AI의 최신 모델로, 텍스트에서 이미지로, 텍스트에서 비디오로, 이미지에서 비디오로, 음성에서 비디오로 변환 등 인상적인 AI 모델을 제공합니다. GeForce RTX 및 NVIDIA RTX PRO GPU는 ComfyUI에서 Wan 2.2 14B 모델을 출력 지연 없이 실행할 수 있는 유일한 GPU입니다. 아래 예시는 “로봇이 계란을 깨뜨리다가, 실수로 그릇 밖에서 깨뜨린다.”라는 단일 프롬프트로 생성되었습니다.
Qwen-Image는 복잡한 텍스트 렌더링과 정교한 이미지 편집 분야에서 상당한 발전을 이룬 Alibaba의 새로운 이미지 생성 기반 모델입니다. 복잡한 텍스트 렌더링과 까다로운 편집 처리에 뛰어나며, 생성된 이미지에서 의미와 시각적 정확성을 유지하는 데 탁월합니다. 해당 모델은 Apple M3 Ultra 대비 GeForce RTX 5090에서 7배 빠르게 실행됩니다.
Black Forest Labs의 새로운 FLUX.1 Krea [dev] AI 모델은 Krea 1의 오픈 웨이트 버전으로, 과도하게 포화된 텍스처 없이 더 사실적이고 다양한 이미지를 생성하도록 훈련되어 강력한 성능을 제공합니다. Black Forest Labs는 이 모델이 폭넓고 시각적으로 흥미로운 이미지를 제공한다는 점에서 “개성있는(opinionated)” 모델이라고 설명합니다. 이 모델은 Apple M3 Ultra에 대비 GeForce RTX 5090에서 8배 빠르게 실행됩니다.
고급 비주얼 생성 기법을 시작하세요.
비주얼 생성형 AI는 강력한 도구이지만, 기술 전문가에게도 시작이 어려울 수 있으며, 고급 기술을 사용하는 방법을 배우는 데 일반적으로 몇 달이 걸립니다.
ComfyUI는 특정 작업을 수행하는 템플릿이나 사전 설정 노드를 제공하여 고급 워크플로우를 쉽게 시작할 수 있도록 합니다. 예를 들어, 여러 세대에 걸쳐 캐릭터를 일정하게 유지하거나, 이미지의 조명을 조정하거나, 미세 조정을 로드하는 작업 등이 포함됩니다. 따라서 비전문가인 아티스트도 고급 AI 워크플로우를 쉽게 사용할 수 있습니다.
다음은 생성형 AI를 시작할 때 유용한 10가지 핵심 기법입니다.
- 스타트 프레임과 종료 프레임을 정의하여 비디오 생성을 안내하기: 스타트 및 종료 프레임을 업로드하고 비디오 클립을 시작하고 종료하는 방법을 업로드합니다. 그런 다음 Wan 2.2가 부드럽고 애니메이션이 적용된 전환을 생성하여 중간 프레임을 채워 일관된 애니메이션을 만들 수 있습니다. 애니메이션 제작, 장면 전환 또는 포즈 정의에 적합합니다.
- 자연어로 이미지 편집하기: FLUX.1 [dev] KONTEXT를 사용하여 이미지의 특정 텍스트 섹션을 편집합니다.
- 이미지 또는 비디오 업스케일: 저해상도 이미지 또는 비디오에 사실감 넘치는 고주파 디테일을 추가하여 해상도와 품질을 향상시킵니다.
- 영역 구성 제어: 이미지의 특정 영역 내에서 시각적 요소의 배열과 레이아웃을 제어하여 이미지 생성을 세밀하게 조정합니다.
- 이미지 재구성: FLUX Redux를 사용하여 핵심 시각적 요소와 디테일을 유지하면서 다양한 변형 이미지를 만들 수 있습니다.
- 이미지에서 멀티뷰를 거쳐 3D 모델로 변환: 다양한 각도에서 캡처된 여러 개의 오브젝트 이미지를 사용하여 고화질의 텍스처형 3D 모델을 만듭니다.
- 사운드를 비디오로 변환: 음성, 음악, 환경 사운드와 같은 오디오 입력만으로 직접 비디오 클립이나 애니메이션을 생성합니다.
- 비디오 궤적 제어: 비디오 내에서 오브젝트, 카메라 또는 장면의 모션을 자동으로 안내합니다.
- 이미지 인페이팅 편집: 디지털 이미지의 누락되거나 원하지 않는 부분을 시각적으로 자연스럽고 주변 영역과 시각적으로 자연스럽게 채우거나 수정합니다.
- 아웃페인팅으로 캔버스 확장: 새로운 이미지 콘텐츠를 생성하여 기존 이미지 또는 비디오 영상의 경계를 확장하거나, 잘린 섹션에 디테일을 추가하거나, 장면을 완성합니다.
X에서 ComfyUI를 팔로우하여 크리에이티브 템플릿 및 워크플로우의 업데이트를 확인하세요.
ComfyUI 영역 확장하기
ComfyUI 플러그인을 통해 사용자는 생성형 AI 워크플로우를 기존 애플리케이션에 추가할 수 있습니다. ComfyUI 커뮤니티가 인기 크리에이티브 애플리케이션을 위한 플러그인 구축을 시작했습니다.
Adobe Photoshop 플러그인은 사용자가 자체적인 플로우를 실행하고 특정 작업에 특화된 모델을 선택할 수 있도록 하여 Photoshop의 네이티브 Firefly 모델을 보완합니다. 또한 로컬 추론을 통해 낮은 지연 시간으로 무제한의 생성 채우기를 지원합니다.
3D 가이드 생성형 AI를 위한 NVIDIA AI Blueprint에 포함된 Blender 플러그인을 사용하면 2D 및 3D 워크플로우를 연결할 수 있습니다. 아티스트는 3D 장면을 사용하여 ComfyUI에서 이미지 생성을 제어하거나 텍스처를 만든 후 별도의 3D 에셋에 적용할 수 있습니다.
Foundry Nuke 플러그인은 Blender와 유사하게 2D와 3D 워크플로우를 연결하여 애플리케이션 간 전환을 최소화합니다.
Unreal Engine 플러그인을 사용하면 Unreal Engine 사용자 인터페이스에서 직접 ComfyUI 노드가 생성형 확산 모델을 사용하여 장면의 텍스처를 빠르게 생성하고 개선할 수 있습니다. 아래 예시를 참조하세요.
ComfyUI에서 NVIDIA RTX GPU용 하이퍼 최적화된 모델을 실행하세요.
NVIDIA RTX GPU를 활용하는 가장 좋은 방법은 NVIDIA RTX GPU의 Tensor 코어에서 최대 속도를 끌어내도록 설계된 고성능 딥 러닝 추론 엔진인 TensorRT 라이브러리와 함께 사용하는 것입니다.
NVIDIA는 최고의 AI 연구소와 협력하여 Black Forest Labs의 모델, Stability AI의 모델 등 다양한 모델에 TensorRT를 통합했습니다. 이러한 모델은 양자화된 네트워크의 압축 버전으로, VRAM을 50~70% 덜 사용하고 유사한 품질을 유지하면서 최대 2배 더 빠른 추론을 제공합니다.
TensorRT 최적화 모델은 현재 SDXL, SD3 및 SD3.5뿐만 아니라 FLUX.1-dev 및 FLUX.1-schnell 모델을 지원하는 TensorRT 노드를 통해 ComfyUI에서 직접 실행할 수 있습니다. 이 노드는 AI 모델을 TensorRT에 최적화된 모델로 변환한 후 사용자의 GPU에 맞춰 TensorRT에 최적화된 엔진을 생성합니다. 이 엔진은 특정 하드웨어에 맞춰 최적의 효율로 모델을 실행하는 방법에 대한 계획을 생성하여 속도를 크게 높입니다.
다만 모델을 양자화하려면 조금 더 작업이 필요합니다. 양자화된 TensorRT 최적화 모델을 실행하는 데 관심이 있는 사용자를 위해 NVIDIA는 NIM 마이크로서비스라는 간단한 컨테이너 형태로 사전 구성된 파일을 제공합니다. 사용자가 ComfyUI의 NIM 노드를 사용하여 이러한 컨테이너를 로드하고 FLUX.1-dev, FLUX.1-schnell, FLUX.1 Kontext, SD3.5 Large, Microsoft TRELLIS와 같은 양자화된 모델을 사용할 수 있습니다.
Remix 업데이트로 패스 트레이싱 파티클 시스템을 추가합니다.
NVIDIA App을 통해 출시된 새로운 RTX Remix 업데이트는 고급 파티클 시스템을 추가하여 기존의 화재 및 연기 효과를 개선할 수 있을 뿐만 아니라, 비디오 게임 Portal에서와 같은 더 환상적인 효과를 적용할 수 있습니다.
RTX Remix를 사용하면 클래식 게임의 레거시 파티클을 패스 트레이싱 처리하여, 사실감 넘치는 조명을 투사하여 많은 장면을 개선할 수 있습니다. 그러나 결국 이러한 파티클은 20년 이상 된 것이며, 디테일, 화려함, 부드러운 애니메이션이 부족했습니다.
RTX Remix의 새로운 파티클은 물리적으로 정확한 속성을 가지고 있으며, 게임의 조명 및 기타 효과와 상호 작용할 수 있습니다. 이를 통해 파티클이 충돌하고, 바람 등 힘에 반응하여 정확하게 움직이고, 표면에 반사되며, 그림자를 투사하고, 자체 그림자를 가질 수 있습니다.
새로운 파티클 시스템의 전체 분석을 확인하려면 GeForce 기사를 읽어 보세요.
RTX AI Garage 블로그 시리즈에서는 매주 커뮤니티 기반의 AI 혁신 사례와 콘텐츠를 소개함으로써 NVIDIA NIM 마이크로서비스 및 AI Blueprint를 더 알고자 하는 사람들, AI PC와 워크플로우 스테이션에서 AI 에이전트, 크리에이티브 워크플로우, 생산성 앱 등을 구축하기를 원하는 사람들에게 정보를 전달합니다.
Facebook, Instagram, TikTok, X에서 NVIDIA AI PC를 팔로우하고 RTX AI PC 뉴스레터를 구독하여 최신 정보를 받아보세요. NVIDIA Discord 서버에 가입하여 RTX AI로 무엇을 할 수 있을지 커뮤니티 개발자 및 애호가들과 논의해 보세요.
LinkedIn 및 X에서 NVIDIA 워크플로우 스테이션 채널을 팔로우하세요.
소프트웨어 제품 정보는 공지를 참조해 주세요.