참고: 본 게시물은 RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해하도록 돕기 위해 작성된 NVIDIA의 AI Decoded 시리즈의 일부입니다.
NVIDIA의 RTX AI 플랫폼에는 Windows 개발자가 AI PC 및 워크스테이션에서 최고의 성능을 제공하도록 최첨단 생성형 AI 기능을 개발하는 데 도움이 되는 도구와 소프트웨어 개발 키트가 포함되어 있습니다.
NVIDIA의 연례 기술 컨퍼런스인 GTC에서는 업계 유명 인사, 개발자 및 연구원으로 구성된 드림 팀이 서로에게서 배우기 위해 모여 AI 및 가속 컴퓨팅의 차세대 기술에 동력을 제공하고 있습니다.
이번 AI Decoded GTC 스페셜 에디션에서는 현재 사용 가능한 최고의 AI 도구를 집중 조명하고 1억 명의 RTX PC 및 워크스테이션 사용자와 개발자를 위한 미래를 살펴봅니다.
Chat with RTX는 사용자가 데이터에 강력한 LLM을 쉽고 빠르게 연결할 수 있는 기술 데모 및 개발자 레퍼런스 프로젝트로, GTC 전시관에서는 새로운 기능과 모델을 선보였습니다.
RTX PC의 생성형 AI 컨테스트 우승자가 월요일에 발표되었습니다. OutlookLLM, Rocket League BotChat 및 CLARA가 생성형 AI 극장의 AI Decoded 세션 중 하나에서 발표되었으며 각각은 NVIDIA TensorRT-LLM에 의해 가속화되었습니다. 그 외 두 개의 AI Decoded 세션에서는 콘텐츠 제작 시 생성형 AI를 사용하는 방법과 Chat with RTX에 대해 자세히 설명했습니다.
Jan.ai, Langchain, LlamaIndex 그리고 Oobabooga가 곧 모두 가속화됨에 따라 TensorRT-LLM 통합을 통한 개발자 프레임워크 및 인터페이스는 계속 성장하고 있으며, 이미 500개 이상의 RTX PC 및 워크스테이션용 AI 애플리케이션의 성장을 지원합니다.
NVIDIA NIM 혼신 마이크로서비스가 RTX PC 및 워크스테이션에 도입됩니다. 업계 표준 API와 함께 사전 구축된 컨테이너를 제공하여 개발자가 RTX PC 및 워크스테이션에서 배포를 가속할 수 있도록 합니다. 이제 RTX개발자는 AI 모델 맞춤화 및 최적화 워크플로우 관리에 유용한 개발자 툴킷 NVIDIA AI Workbench를 일반 버전으로 사용할 수 있습니다.
이러한 생태계 통합 및 도구는 새로운 Windows 앱 및 기능의 개발을 가속합니다. 그리고 컨테스트 우승자들은 그러한 콘텐츠가 어떤 모습일지 영감을 제공하고 있습니다.
더 많이 듣고, 더 많이 보고, 더 많이 채팅하기
Chat with RTX, 줄여서 ChatRTX는 검색 증강 생성, NVIDIA TensorRT-LLM 소프트웨어 및 NVIDIA RTX 가속화를 사용하여 로컬 생성형 AI 기능을 RTX 기반 Windows 시스템에 제공합니다. 사용자는 로컬 파일을 데이터 세트로 Mistral 또는 Llama 2와 같은 개방형 대형 언어 모델에 빠르고 쉽게 연결하여 쿼리를 통해 상황에 맞는 관련 답변을 빠르게 얻을 수 있습니다.
ChatRTX는 텍스트를 넘어 곧 음성, 이미지 및 새 모델에 대한 지원을 추가할 예정입니다.
사용자는 AI를 사용하여 음성 언어를 처리하는 자동 음성 인식 시스템인 Whisper를 통해 ChatRTX와 대화할 수 있습니다. 이 기능을 사용할 수 있게 되면 ChatRTX는 음성 언어를 ‘이해’하고 텍스트 응답을 제공할 수 있습니다.
향후 업데이트에서는 사진에 대한 지원도 추가할 예정입니다. OpenAI의 CLIP(대비 언어 이미지 사전 훈련)를 통합하면 사용자는 단어, 용어 또는 구문으로 검색하여 개인 라이브러리에서 사진을 찾을 수 있습니다.
Google의 Gemma 외에도 ChatGLM2가 향후 업데이트에서 지원될 예정입니다.
개발자는 GitHub에서 최신 버전의 개발자 레퍼런스 프로젝트로 시작할 수 있습니다.
효과적인 생성형 AI
NVIDIA RTX의 NVIDIA 생성형 AI 개발자 컨테스트에서 개발자들은 Windows 앱 또는 플러그인을 구축했습니다.
출품작 심사 기준은 소셜 미디어에 게시된 짧은 데모 영상, 프로젝트의 상대적 영향력 및 사용 편의성, 프로젝트에서 NVIDIA의 기술 스택이 얼마나 효과적으로 사용되었는지 등의 세 가지 측면을 고려했습니다. 세 명의 수상자는 각각 NVIDIA 딥 러닝 교육 센터의 GenAI/LLM 과정 수강을 포함한 GTC 입장권과 향후 개발 작업에 사용할 수 있는 GeForce RTX 4090 GPU를 받았습니다.
OutlookLLM은 RTX PC 및 워크스테이션의 이메일 클라이언트에서 Outlook 사용자에게 이메일 작성과 같은 생성형 AI 기능을 안전하게 비공개로 제공합니다. TensorRT-LLM을 통해 제공되는 로컬 LLM을 사용합니다.
인기 있는 Rocket League 게임의 Rocket League BotChat은 골을 넣거나 막는 등 게임 이벤트 로그를 기반으로 봇이 상황에 맞는 인게임 채팅 메시지를 보내는 플러그인입니다. 이 플러그인은 봇 플레이어를 상대하는 오프라인 게임에서만 사용하도록 설계되어 있으며, 설정 메뉴를 통해 여러 방법으로 구성할 수 있습니다.
“실시간에 가까운 인게임 메시지로 게임 이벤트에 반응하는 봇을 상대로 플레이하는 것이 게임에 새로운 차원의 엔터테인먼트를 제공한다는 것을 알게 되었습니다. 이번 개발자 컨퍼런스의 참가자로서 AI를 게이밍에 통합하는 접근 방식을 공유하게 되어 기쁩니다. 프로젝트의 타겟층은 RTX 하드웨어로 Rocket League를 플레이하는 모든 분들입니다.” — Brian Caffey, Rocket League BotChat 개발자
CLARA(Command Line Assistant with RTX Acceleration)는 일반 영어 지침을 실행 가능한 명령으로 변환하여 PowerShell의 명령줄 인터페이스를 향상하도록 설계되었습니다. 이 확장은 로컬에서 빠르게 실행되며 사용자를 PowerShell 컨텍스트에 유지하도록 합니다. 활성화되면 사용자는 영어 지침을 입력하고 탭 버튼을 눌러 CLARA를 호출합니다. 설치는 간단합니다. 스크립트 기반 옵션 및 수동 설정 옵션이 있습니다.
생성형 AI 극장
GTC 등록자라면 3월 20일 수요일에 생성형 AI 극장에서 열리는 세 개의 AI Decoded 세션에 참석할 수 있습니다. 이 15분 길이 세션은 ChatRTX를 통해 청중을 안내하며 개발자가 맞춤형 챗봇을 상품화하는 방법, 세 명의 컨테스트 수상자가 각각 RTX 시스템에서 보여준 생성형 AI 앱의 가능성, NVIDIA 기술을 기반으로 아티스트들이 사용하는 도구와 방법을 소개합니다.
크리에이터 세션에서는 NVIDIA의 생성형 AI 미디어 및 엔터테인먼트 부문 선임 개발자 관계 매니저인 Lee Fraser가 생성형 AI가 인기를 끄는 이유를 살펴봅니다. 새로운 워크플로우를 선보이고 크리에이터가 아이디어를 빠르게 탐색하는 방법에 관해서도 알려드릴 예정입니다. 아티스트는 Steve Talkowski, Sophia Crespo, Lim Wenhui, Erik Paynter, Vanessa Rosa, Refik Anadol입니다.
Anadol은 데이터 시각화와 해당 데이터를 기반으로 하는 이미지를 결합하는 설치물도 세션을 위해 마련해 두었습니다.
가속화의 에코시스템
Blackmagic Design 및 Topaz Labs와 같은 최고의 크리에이티브 앱 개발자들은 자사 소프트웨어에 RTX AI 가속화를 통합했습니다. TensorRT는 DaVinci Resolve 및 Topaz 앱에서 로토스코핑, 노이즈 제거, 초고해상도 및 영상 안정화와 같은 AI 효과의 속도를 두 배로 높입니다.
“Blackmagic Design과 NVIDIA는 RTX AI PC에서 AI 모델을 실행하기 위해 지속적으로 협업하고 있습니다. 이러한 협업을 통해 사용자에게 몰입도 높은 콘텐츠를 더 빠르게 제작할 수 있는 성능을 제공하는 획기적인 신기능이 탄생할 것입니다.” — Rohit Gupta, Blackmagic Design 소프트웨어 개발 담당 이사
TensorRT-LLM은 LangChain, LlamaIndex, Oobabooga, Jan.AI와 같은 인기 있는 개발자 프레임워크 및 에코시스템과 통합되고 있습니다. 개발자와 열정적인 게이머들이 최고의 LLM 프레임워크를 통해 TensorRT-LLM의 성능 이점에 쉽게 액세스하여 생성형 AI 앱을 구축하고 로컬 및 클라우드 GPU 모두에 배포할 수 있습니다.
또한 열정적인 게이머들은 Oobabooga 및 Jan.AI 채팅 인터페이스를 통해 RTX 시스템의 TensorRT-LLM으로 가속화된 인기 있는 LLM을 사용해 볼 수 있습니다.
민첩한 AI, 빠른 AI
개발자와 작업자는 NIM 마이크로서비스를 활용할 수 있습니다. 이처럼 업계 표준 API로 사전 구축된 AI ‘컨테이너’는 배포 시간을 몇 주에서 몇 분으로 줄이는 데 도움이 되는 최적화된 솔루션을 제공합니다. NVIDIA, Getty Images, Google, Meta, Microsoft, Shutterstock 등 24개 이상의 인기 모델과 함께 사용할 수 있습니다.
이제 NVIDIA AI Workbench가 정식 출시되어 개발자가 RTX GPU에서 사전 훈련된 생성형 AI 모델 및 LLM을 빠르게 생성, 테스트, 맞춤화할 수 있습니다. 개발자가 프로젝트를 쉽게 재현, 협업 및 마이그레이션할 수 있는 간소화된 사용자 인터페이스와 함께 Hugging Face, GitHub 및 NVIDIA NGC와 같은 인기 있는 리포지토리에 대한 간소화된 액세스를 제공합니다.
추가 성능이 필요한 경우 데이터센터, 퍼블릭 클라우드 또는 NVIDIA DGX 클라우드로 프로젝트를 쉽게 확장한 다음 추론과 사용자 지정을 위해 PC 또는 워크스테이션의 로컬 RTX 시스템으로 다시 가져올 수 있습니다. AI Workbench는 무료로 다운로드할 수 있으며 개발자가 빠르게 시작할 수 있도록 예제 프로젝트를 제공합니다.
이러한 도구를 비롯하여 GTC에서 발표 및 전시된 많은 도구는 개발자가 혁신적인 AI 솔루션을 추진하는 데 도움이 됩니다.
Blackwell 플랫폼 공개부터 지구의 기후를 위한 디지털 트윈에 이르기까지, 기억에 남을 만한 GTC였습니다. RTX PC 및 워크스테이션 사용자와 개발자에게는 생성형 AI의 다음 단계를 엿볼 기회이기도 했습니다.