AI 기술은 미디어와 엔터테인먼트, 자동차, 고객 서비스 등 산업 전반에 걸쳐 막대한 영향을 미치고 있습니다. 특히 게임 개발자에게는 이러한 발전이 더욱 사실적이고 몰입감 넘치는 게임 내 경험을 제작할 수 있는 길을 열어주고 있습니다.
감정을 전달하는 생생한 캐릭터를 만드는 것부터 단순한 텍스트를 매력적인 이미지로 변환하는 것까지, 파운데이션 모델(Foundation Model)은 개발자의 워크플로우를 가속화하는 동시에 전반적인 비용을 절감하는 데 필수적인 요소가 되고 있습니다. 이러한 강력한 AI 모델은 디자이너와 게임 개발자가 더 높은 품질의 게임 경험을 구축할 수 있도록 지원하여 가능성의 영역을 넓혔습니다.
파운데이션 모델이란?
파운데이션 모델은 방대한 양의 데이터로 학습한 다음 다양한 작업을 처리하도록 조정된 뉴럴 네트워크입니다. 텍스트, 이미지, 오디오 생성과 같은 다양한 일반 작업을 수행할 수 있습니다. 지난 한 해 동안 파운데이션 모델의 인기와 사용량이 급격히 증가하여 현재 수백 가지의 파운데이션 모델을 사용할 수 있습니다.
예를 들어, GPT-4는 문맥과 과거 대화를 기반으로 사람과 유사한 텍스트를 생성할 수 있는 OpenAI에서 개발한 대규모 멀티모달 모델입니다. 또 다른 모델인 DALL-E 3는 자연어로 작성된 설명에서 사실적인 이미지와 아트워크를 생성할 수 있습니다.
기업과 개발자는 엔비디아 네모(NVIDIA NeMo)와 엔비디아 피카소(NVIDIA Picasso)의 Edify 모델과 같은 강력한 기반 모델을 통해 기존 워크플로우에 AI를 쉽게 도입할 수 있습니다. 예를 들어, 엔비디아 네모 프레임워크를 사용하면 조직은 대규모로 생성형 AI 모델을 빠르게 훈련, 커스터마이징 및 배포할 수 있습니다. 또한 엔비디아 피카소를 사용하여 팀은 자체 엔터프라이즈 데이터로 사전 학습된 Edify 모델을 파인튜닝하여 생성형 AI 이미지, 비디오, 3D 에셋, 텍스처 머티리얼 및 360 HDRi를 위한 맞춤형 제품 및 서비스를 구축할 수 있습니다.
파운데이션 모델은 어떻게 구축되는가?
파운데이션 모델은 여러 작업을 수행할 수 있는 AI 시스템의 기반으로 사용할 수 있습니다. 조직은 레이블이 지정되지 않은 대량의 데이터를 쉽고 빠르게 사용하여 자체적인 파운데이션 모델을 만들 수 있습니다.
데이터가 너무 적거나 품질이 좋지 않은 데이터는 부정확성(환각이라고도 함)을 초래하거나 생성된 결과물에서 세밀한 세부 사항이 누락될 수 있으므로 데이터 세트는 가능한 한 크고 다양해야 합니다.
다음으로 데이터 집합을 준비해야 합니다. 여기에는 데이터를 정리하고, 오류를 제거하고, 모델이 이해할 수 있는 방식으로 데이터 형식을 지정하는 작업이 포함됩니다. 편향성은 데이터 세트를 준비할 때 만연한 문제이므로 이러한 불일치 및 부정확성을 측정하고, 줄이고, 해결하는 것이 중요합니다.
특히 모델의 크기와 필요한 데이터의 양을 고려할 때 파운데이션 모델을 훈련하는 데는 많은 시간이 소요될 수 있습니다. 엔비디아 A100 또는 H100 텐서 코어 GPU와 같은 하드웨어와 엔비디아 DGX SuperPOD와 같은 고성능 데이터 시스템을 함께 사용하면 훈련 속도를 높일 수 있습니다. 예를 들어 ChatGPT-3는 약 34일 동안 1,000개 이상의 엔비디아 A100 GPU에서 훈련되었습니다.
교육 후에는 품질, 다양성 및 속도에 대해 파운데이션 모델을 평가합니다. 예를 들어 성능을 평가하는 방법에는 여러 가지가 있습니다:
- 모델이 텍스트 샘플을 얼마나 잘 예측하는지 정량화하는 도구 및 프레임워크
- 생성된 결과물을 하나 이상의 레퍼런스와 비교하고 이들 간의 유사성을 측정하는 지표
- 다양한 기준에 따라 생성된 결과물의 품질을 평가하는 사람의 평가
모델이 관련 테스트와 평가를 통과하면 프로덕션에 배포할 수 있습니다.
게임 내 파운데이션 모델 살펴보기
사전 학습된 파운데이션 모델은 미들웨어, 도구, 게임 개발자가 제작 과정과 런타임에 모두 활용할 수 있습니다. 파운데이션 모델을 훈련하려면 일정 수준의 전문 지식과 함께 리소스와 시간이 필요합니다. 현재 게임 업계의 많은 개발자가 기성 모델을 탐색하고 있지만, 특정 사용 사례에 맞는 맞춤형 솔루션이 필요합니다. 이들은 상업적으로 안전한 데이터로 학습되고 실시간 성능에 최적화되어 있으면서도 막대한 배포 비용이 들지 않는 모델을 필요로 합니다. 이러한 요구 사항을 충족하기 어렵기 때문에 파운데이션 모델의 채택이 더디게 진행되었습니다.
하지만 생성형 AI 분야의 혁신은 빠르게 진행되고 있으며, 주요 장애물이 해결되면 스타트업부터 AAA 스튜디오에 이르기까지 모든 규모의 개발자가 파운데이션 모델을 사용하여 게임 개발의 효율성을 높이고 콘텐츠 제작 속도를 높일 수 있을 것입니다. 또한 이러한 모델은 완전히 새로운 게임플레이 경험을 만드는 데 도움이 될 수 있습니다.
업계 최고의 활용 사례는 지능형 에이전트와 AI 기반 애니메이션 및 에셋 제작에 집중되어 있습니다. 예를 들어, 오늘날 많은 크리에이터가 지능형 비플레이어 캐릭터(NPC)를 제작하기 위한 모델을 모색하고 있습니다.
특정 게임의 용어와 지식에 맞게 세밀하게 조정된 커스텀 LLM은 사람과 같은 텍스트를 생성하고, 문맥을 이해하며, 일관된 방식으로 프롬프트에 응답할 수 있습니다. 패턴과 언어 구조를 학습하고 게임 상태 변화를 이해하도록 설계되어 게임에서 플레이어와 함께 진화하고 진행합니다.
NPC가 점점 더 역동적으로 변함에 따라 NPC의 반응에 동기화되는 실시간 애니메이션과 오디오가 필요합니다. 개발자들은 음성 및 번역 AI를 사용하여 표현력이 풍부한 캐릭터 음성을 제작하기 위해 엔비디아 리바(NVIDIA Riva)를 사용하고 있습니다. 그리고 디자이너들은 AI 기반 얼굴 애니메이션을 위해 엔비디아 오디오2페이스(NVIDIA Audio2Face)를 활용하고 있습니다.
파운데이션 모델도 에셋 및 애니메이션 생성에 사용되고 있습니다. 게임 개발의 사전 프로덕션 및 프로덕션 단계에서 에셋을 생성하는 것은 시간이 오래 걸리고 지루하며 비용이 많이 들 수 있습니다.
최첨단 디퓨전 모델을 사용하면 개발자는 더 빠르게 반복 작업을 수행할 수 있으므로 고품질 에셋 개발 및 반복 작업과 같은 콘텐츠 파이프라인의 가장 중요한 측면에 더 많은 시간을 할애할 수 있습니다. 스튜디오의 자체 데이터 저장소에서 이러한 모델을 미세 조정할 수 있으므로 생성된 결과물이 이전 게임의 아트 스타일 및 디자인과 유사하도록 보장할 수 있습니다.
파운데이션 모델은 쉽게 사용할 수 있으며, 게임 업계는 이제 막 전체 기능을 이해하는 단계에 불과합니다. 실시간 경험을 위한 다양한 솔루션이 구축되었지만 사용 사례는 제한적입니다. 다행히도 개발자는 오늘날 클라우드 API를 통해 모델과 마이크로서비스에 쉽게 액세스하여 AI가 게임에 어떤 영향을 미칠 수 있는지 살펴보고 그 어느 때보다 더 많은 고객과 디바이스로 솔루션을 확장할 수 있습니다.
게이밍 분야에서 파운데이션 모델의 미래
파운데이션 모델은 개발자가 게임의 미래를 실현하는 데 도움을 줄 준비가 되어 있습니다. 디퓨전 모델과 대규모 언어 모델은 개발자들이 PC, 콘솔, 모바일 기기 등 다양한 하드웨어 성능 프로파일에서 네이티브하게 실행하려는 움직임에 따라 훨씬 더 경량화되고 있습니다.
이러한 모델의 정확도와 품질은 개발자가 AAA급 게임 경험에 적용하기 전에 거의 또는 전혀 손댈 필요가 없는 고품질 에셋을 생성하고자 함에 따라 계속 향상될 것입니다.
파운데이션 모델은 기존 기술로는 개발자가 극복하기 어려웠던 영역에서도 활용될 것입니다. 예를 들어, 자율 에이전트는 게임 개발 중에 월드 스페이스를 분석하고 감지하여 품질 보증 프로세스를 가속화할 수 있습니다.
텍스트, 이미지, 오디오 및 기타 입력을 동시에 수집할 수 있는 멀티모달 파운데이션 모델의 등장으로 플레이어와 지능형 NPC 및 기타 게임 시스템과의 상호작용이 더욱 향상될 것입니다. 또한 개발자는 추가 입력 유형을 사용하여 제작 과정에서 창의력을 향상하고 생성된 에셋의 품질을 높일 수 있습니다.
또한 멀티모달 모델은 게임 개발 과정에서 가장 많은 시간과 비용이 소요되는 실시간 캐릭터의 애니메이션을 개선하는 데 큰 가능성을 보여줍니다. 캐릭터의 움직임을 실제 배우와 동일하게 만들고, 다양한 입력을 통해 스타일과 느낌을 불어넣고, 리깅 프로세스를 간소화하는 데 도움이 될 수 있습니다.
게임 내 파운데이션 모델에 대해 자세히 알아보기
대화 향상과 3D 콘텐츠 생성부터 인터랙티브 게임플레이 제작에 이르기까지, 파운데이션 모델은 개발자가 게임 경험의 미래를 개척할 수 있는 새로운 기회를 열어주었습니다.
게임 개발 워크플로우를 지원하는 파운데이션 모델과 기타 기술들에 대해 자세히 알아보세요.