세계 최고의 AI 연구소 중 하나인 블랙 포레스트 랩스(Black Forest Labs)가 이미지 생성의 판도를 바꾸고 있습니다.
블랙 포레스트 랩스의 플럭스.1(FLUX.1) 이미지 모델은 탁월한 프롬프트 준수로 고품질의 비주얼을 구현해 전 세계의 주목을 받았는데요. 이제 새로운 플럭스.1 콘텍스트(FLUX.1 Kontext) 모델로 사용자가 이미지 생성 프로세스를 안내하고 개선하는 방식을 근본적으로 바꾸고 있습니다.
오늘날 AI 전문가들은 원하는 결과를 얻기 위해 이미지 생성기의 출력을 안내하는 AI 모델인 컨트롤넷(ControlNets)과 여러 모델을 조합합니다. 일반적으로 여러 개의 컨트롤넷을 결합하거나, 3D 가이드 이미지 생성용 NVIDIA AI Blueprint에서 사용된 것과 같은 고급 기술을 활용하는 방식이죠. 이 기법에서는 이미지의 구도를 결정하기 위해 3D 장면 초안을 활용합니다.
새로운 플럭스.1 콘텍스트 모델은 자연어로 이미지 생성과 편집을 모두 수행하는 단일 모델을 제공해 이 작업을 간소화합니다.
그리고 NVIDIA RTX GPU에 블랙 포레스트 랩스와 협력해 플럭스.1 콘텍스트[dev]를 최적화했습니다. 이를 위해 NVIDIA TensorRT 소프트웨어 개발 키트와 양자화를 사용했으며, 더 낮은 VRAM 요구 사항으로 더 빠른 추론 속도를 구현했죠.
이제 크리에이터와 개발자는 TensorRT 최적화를 통해 RTX 기반 기기에서 더 빠른 편집, 매끄러운 반복 작업, 향상된 제어력을 경험할 수 있습니다.
플럭스.1 콘텍스트 [dev] 플렉스: 맥락 기반 이미지 생성
지난 5월 블랙 포레스트 랩스는 텍스트와 이미지 프롬프트를 모두 지원하는 플럭스.1 콘텍스트 이미지 모델 제품군을 출시했는데요.
이 모델을 통해 사용자는 여러 컨트롤넷을 통한 미세 조정이나 복잡한 워크플로우 없이도 참조 이미지에서 작업을 시작하고 간단한 언어로 편집을 안내할 수 있습니다.
플럭스.1 콘텍스트는 이미지 편집을 위해 제작된 오픈 웨이트(open-weight) 생성 모델입니다. 단계별 가이드 생성 프로세스를 사용해 작은 디테일을 다듬거나 전체 장면을 변형하는 등 이미지의 진화 방식을 쉽게 제어하죠. 이 모델은 텍스트와 이미지 입력을 모두 지원합니다. 따라서 사용자는 시각적 콘셉트를 쉽게 참조해 자연스럽고 직관적인 방식으로 진화하는 방식을 안내할 수 있습니다. 이를 통해 기존 콘셉트에 충실한 일관된 고품질 이미지 편집이 가능합니다.
플럭스.1 콘텍스트의 주요 기능은 다음과 같습니다.
- 캐릭터 일관성: 여러 장면과 각도에서 고유한 특성을 보존합니다.
- 맞춤 편집: 이미지의 나머지 부분은 변경하지 않고 특정 요소만 수정할 수 있습니다.
- 스타일 전환: 참조 이미지의 모양과 느낌을 새로운 장면에 적용합니다.
- 실시간 수행: 짧은 지연 시간의 생성으로 빠른 반복과 피드백을 지원합니다.
블랙 포레스트 랩스는 허깅페이스(Hugging Face)에서 다운로드 가능한 플럭스.1 콘텍스트 가중치와 TensorRT 가속 변형을 출시했습니다.
[dev] 모델은 유연성과 제어를 강조합니다. 캐릭터 일관성, 스타일 보존, 일부 이미지 조정과 같은 기능을 지원하며, 구조화된 시각적 프롬프팅을 위한 통합 컨트롤넷 기능을 제공합니다.
플럭스.1 콘텍스트 [dev]는 이미 컴피UI(ComfyUI)와 블랙 포레스트 랩스 플레이그라운드(Playground)에서 사용할 수 있습니다. 8월에는 NVIDIA NIM 마이크로서비스 버전이 출시될 예정입니다.
TensorRT 가속을 통한 RTX용 최적화
플럭스.1 콘텍스트 [dev]는 복잡한 워크플로우를 간소화해 창의성을 가속화합니다. NVIDIA와 블랙 포레스트 랩스는 이 모델을 양자화해 작업을 더욱 간소화하고 접근성을 넓혔는데요. 이를 통해 더 많은 사람들이 플럭스.1 콘텍스트 [dev]를 로컬에서 실행할 수 있도록 VRAM 요구 사항을 줄였으며, TensorRT로 최적화해 성능을 두 배로 높였습니다.
양자화 단계는 모델의 크기를 FP8(에이다)(Ada)의 경우 24GB에서 12GB로, FP4(Blackwell)의 경우 7GB로 줄이죠. FP8 체크포인트는 Tensor Core에 FP8 가속기를 탑재한 GeForce RTX 40 시리즈 GPU에 최적화돼 있습니다. 마찬가지로 FP4 체크포인트는 GeForce RTX 50 시리즈 GPU에 최적화돼 있으며, 모델 크기를 줄이고 높은 이미지 품질을 유지하는 새로운 방법인 SVD퀀트(SVDQuant)를 사용합니다.
TensorRT는 NVIDIA RTX GPU Tensor 코어에 접근해 성능을 극대화하는 프레임워크로, 파이토치(PyTorch)에서 기존 BF16 모델을 실행할 때보다 2배 이상의 가속을 제공합니다.
플럭스.1 콘텍스트 시작하기
플럭스.1 콘텍스트 [dev]는 허깅페이스(토치(Torch), TensorRT)에서 제공됩니다.
이 모델을 테스트하고자 하는 AI 애호가는 토치 버전을 다운로드해 컴피UI에서 사용할 수 있죠. 블랙 포레스트 랩스는 이 모델을 테스트할 수 있는 온라인 플레이그라운드도 제공합니다.
고급 사용자와 개발자를 위해 TensorRT 파이프라인을 워크플로우에 쉽게 통합하는 샘플 코드를 개발 중인데요. 이달 말에는 데모디퓨전(DemoDiffusion) 리포지토리를 출시할 예정입니다.
더 알아보기
지난주 구글(Google)은 새로운 멀티모달 소형 언어 모델(small language model, sLM)인 젬마 3n(Gemma 3n)을 출시했는데요. 이 모델은 NVIDIA GeForce RTX GPU와 엣지 AI, 로보틱스를 위한 NVIDIA Jetson 플랫폼에서 실행하기에 이상적입니다.
AI 애호가는 애니띵LLM(AnythingLLM), LM 스튜디오(LM Studio)를 비롯한 앱을 통해 올라마(Ollama)와 라마.cpp(Llama.cpp)에서 RTX로 가속화된 젬마 3n 모델을 사용할 수 있죠.
또한, 개발자는 올라마를 통해 젬마 3n 모델을 손쉽게 배포하고, RTX 가속의 이점을 누릴 수 있습니다. 젬마 3n을 젯슨과 RTX에서 실행하는 방법을 자세히 알아보세요.
그리고 7월 17일(목) 오후 4시(한국 시간)까지 온라인으로 Plug and Play: Project G-Assist Plug-In 해커톤을 진행합니다! 이번 해커톤에서 개발자는 AI를 탐색하고 맞춤형 G-어시스트 플러그인을 제작할 수 있으며, 우수한 결과물에는 수상 기회도 얻을 수 있습니다. 또한, 7월 10일(목) 오전 2시에서 3시(한국 시간)까지 진행되는 G-Assist Plug-In 웨비나에서는 프로젝트 G-어시스트의 기능과 기본 사항에 대해 자세한 설명이 제공될 예정입니다. 웨비나 종료 전에는 실시간 Q&A 세션도 마련되니, 다양한 질문을 자유롭게 나눠보세요.
NVIDIA의 디스코드(Discord) 서버에 참여하면 커뮤니티 개발자, AI 애호가와 함께 RTX AI의 가능성을 토론할 수 있습니다.
매주 RTX AI Garage 블로그 시리즈에서는 커뮤니티가 주도하는 AI 혁신과 콘텐츠를 통해, NIM 마이크로서비스와 AI Blueprint에 대해 자세히 알아봅니다. 또한, AI PC와 워크스테이션에서 AI 에이전트, 크리에이티브 워크플로우, 디지털 휴먼, 생산성 앱 등을 구축하기 위한 정보도 제공합니다.
페이스북(Facebook), 인스타그램(Instagram), 틱톡(TikTok), X에서 NVIDIA AI PC에 대해 알아보고, RTX AI PC 뉴스레터를 구독해 최신 소식을 받아보세요.
NVIDIA Workstation의 링크드인(LinkedIn), X 채널에서도 관련 소식을 확인할 수 있습니다.
소프트웨어 제품 정보에 대한 안내를 확인하세요.