AI 기반 이미지 생성 기술은 눈부신 속도로 발전해 왔습니다. 초기 손가락 수가 너무 많은 사람 이미지를 생성하던 모델이 이제는 놀라울 정도로 사실적인 결과물을 생성해 냅니다. 그러나 이러한 발전에도 불구하고 한 가지 과제가 남아있습니다: 바로 창의적인 제어를 구현하는 것입니다.
텍스트를 사용한 장면 생성이 훨씬 쉬워졌고 더 이상 복잡한 설명이 필요하지 않을 정도로 모델 프롬프트 이해도가 개선되었습니다. 그러나 구도, 카메라 각도, 오브젝트 배치와 같은 세부 사항을 텍스트만으로 설명하는 것은 쉽지 않으며, 수정 작업은 더 복잡합니다. ControlNet과 같은 고급 워크플로우가 더 정교한 출력 제어를 가능하게 하였지만, 설정 상의 복잡성 때문에 접근이 제한적이었습니다.
이러한 문제를 해결하고 고급 AI 기능을 빠르게 활용할 수 있도록 지원하기 위해 NVIDIA는 올해 초 CES에서 RTX PC용 3D 가이드 생성형 AI 를 위한 NVIDIA AI Blueprint를 발표했습니다. 이 샘플 워크플로우는 전체 구도를 제어하고 이미지 생성하는 데 필요한 모든 항목을 포함합니다. 지금 바로 새로운 Blueprint를 다운로드 할 수 있습니다.
3D를 활용해 AI 생성 이미지 제어하기
NVIDIA의 3D 가이드 생성형 AI Blueprint는 Blender의 초안 3D 장면을 활용하여 깊이 맵을 생성한 후 이를 Black Forest Labs의 FLUX.1-dev 이미지 생성기에 전달하고, 이를 통해 생성된 깊이 정보와 사용자의 텍스트 프롬프트를 결합하여 최종 이미지를 생성합니다.
깊이 맵은 이미지 모델이 객체 위치 배치를 이해할 수 있도록 도움을 줍니다. 이 기술의 장점은 모든 요소가 그레이스케일로 변환되기 때문에 고품질 텍스처나 상세한 3D 객체가 필요하지 않다는 점입니다. 3D 장면을 기반으로 형태를 구현하기 때문에 사용자는 객체를 자유롭게 이동하거나 카메라 각도를 쉽게 변경할 수 있습니다.
이 Blueprint의 핵심은 ComfyUI로, 이 도구를 통해 생성형 AI 모델을 창의적인 방식으로 연결할 수 있습니다. 예를 들어, ComfyUI Blender 플러그인을 사용하면 Blender와 ComfyUI를 연결할 수 있습니다. 또한 NVIDIA TensorRT 소프트웨어 개발 키트와 FP4 및 FP8과 같은 최적화된 형식을 활용하는 NVIDIA NIM마이크로서비스를 통해 사용자는 FLUX.1-dev 모델을 배포하고 GeForce RTX GPU에서 최적의 성능으로 실행할 수 있습니다. 3D 가이드 생성형 AI용 NVIDIA AI Blueprint는 NVIDIA GeForce RTX 4080 GPU 이상에서 구동할 수 있습니다.
생성형 AI 워크플로우를 위해 사전 구축된 파운데이션
3D 가이드 생성형 AI Blueprint에는 Blender, ComfyUI, 두 항목을 연결하는 Blender 플러그인, FLUX.1-dev NIM 마이크로서비스, 이를 실행하는 ComfyUI 노드 등 고급 이미지 생성 워크플로우 시작에 필요한 모든 항목이 포함되어 있습니다. AI 아티스트를 위한 설치 프로그램과 상세한 배포 지침 또한 함께 제공됩니다.
이 Blueprint는 특정 요구 사항에 맞게 조정할 수 있는 작업 파이프라인을 제공함으로써 아티스트가 체계적인 방식으로 이미지 생성 작업을 할 수 있도록 지원합니다. 단계별 문서, 샘플 에셋 및 사전 구성된 환경 등의 견고한 기반을 제공함으로써 창의적인 작업 과정을 더욱 쉽게 관리하고 결과물의 퀄리티를 높여줍니다.
이 Blueprint는 유사 파이프라인 구축이나 기존 시스템 확장의 기반으로도 활용될 수 있어 AI 개발자들 또한 유용하게 사용할 수 있습니다. Blueprint에는 Target 코드, 샘플 데이터, 문서화 자료 및 작업 샘플이 포함되어 있습니다.
RTX AI를 기반으로 실시간 생성
AI Blueprint는 NVIDIA RTX AI PC 및 워크플로우 스테이션에서 실행되며 NVIDIA Blackwell 아키텍처의 최근 성능 혁신을 활용합니다.
3D 가이드 생성형 AI Blueprint에 포함된 FLUX.1-dev NIM 마이크로서비스는 TensorRT로 최적화되었으며, Blackwell GPU용으로 FP4 정밀도로 양자화되어 있습니다. 이를 통해 기본 파이토치 FP16 대비 2배 이상 빠른 추론 속도를 구현합니다.
NVIDIA Ada Lovelace 세대 GPU 사용자의 경우, FLUX.1-dev NIM 마이크로서비스에 TensorRT 가속을 받는 FP8 변형 버전이 제공됩니다. 이러한 개선 사항을 통해 고성능 워크플로우에 더 손쉽게 접근하여 빠른 반복 작업과 실험을 수행할 수 있습니다. 양자화는 모델 실행 시 VRAM 사용량을 줄이는 데도 기여합니다. 예를 들어, FP4 형식은 FP16 대비 모델 크기를 2배 이상 감소시킵니다.
RTX AI로 커스터마이징하고 창작하세요
현재 이미지 및 언어 생성에서부터 음성 AI 및 컴퓨터 비전에 이르는 다양한 사용 사례를 지원하는 10개의 RTX용 NIM 마이크로서비스가 지원되고 있으며, 향후 더 많은 Blueprint와 서비스가 제공될 예정입니다.
현재 https://build.nvidia.com/nvidia/genai-3d-guided에서 이용 가능한 AI Blueprint 및 NIM 마이크로서비스는 RTX PC 및 워크플로우스테이션에서 생성형 AI의 한계를 뛰어넘는 맞춤형 창작을 가능하게 하는 강력한 파운데이션을 제공합니다.
매주 RTX AI Garage는 NIM 마이크로서비스 및 AI Blueprint에 대해 자세히 알아보고 AI PC와 워크플로우 스테이션에서 AI 에이전트, 크리에이티브 워크플로우, 디지털 휴먼, 생산성 앱 등을 구축하기를 원하는 사람들을 위해 커뮤니티 기반 AI 혁신과 콘텐츠를 제공합니다.
Facebook, Instagram, TikTok, X에서 NVIDIA AI PC와 연결하고 RTX AI PC 뉴스레터를 구독하여 최신 정보를 받아보세요.
LinkedIn과 X에서 NVIDIA 워크플로우 스테이션을 팔로우하세요.
소프트웨어 제품 정보는 공지를 참조해 주세요.