개발자는 강력한 대규모 언어 모델(LLM)을 활용하면서 업계의 변화에 빠르게 대응할 수 있는 새로운 AI 기반 도구를 사용할 수 있게 되었습니다.
NVIDIA NeMo SteerLM은 기업의 추론 프로세스를 통해 프로덕션에서 실행 중인 모델의 응답을 다이얼링하는 노브(knob)를 정의할 수 있도록 지원합니다. LLM을 커스터마이징하는 현재의 방법과 달리, 한 번의 트레이닝 실행으로 수십 또는 수백 개의 사용 사례를 지원할 수 있는 하나의 모델을 생성할 수 있으므로 시간과 비용을 절약할 수 있습니다.
엔비디아 연구원들은 특정 사용 사례 또는 시장에서 따라야 할 도로 표지판과 같이 사용자가 관심 있는 사항을 AI 모델에 학습시키기 위해 SteerLM을 개발했습니다. 이러한 사용자 정의 속성은 모델 응답의 도움 정도나 유머 등 거의 모든 것을 측정할 수 있습니다.
하나의 모델, 다양한 용도
새로운 차원의 유연성이 제공됩니다.
SteerLM을 사용하면 사용자가 원하는 모든 속성을 정의하고 단일 모델에 포함시킬 수 있습니다. 그런 다음 모델이 실행되는 동안 특정 사용 사례에 필요한 조합을 선택할 수 있습니다.
예를 들어, 이제 회계, 영업 또는 엔지니어링 부서 또는 수직 시장의 고유한 요구 사항에 맞게 추론하는 동안 사용자 지정 모델을 조정할 수 있습니다.
이 방법은 또한 지속적인 개선 주기를 가능하게 합니다. 사용자 지정 모델의 응답은 향후 트레이닝 실행을 위한 데이터로 사용되어 모델을 새로운 수준의 유용성으로 끌어올릴 수 있습니다.
시간과 비용 절약
지금까지는 특정 애플리케이션의 요구 사항에 맞게 생성형 AI 모델을 조정하는 것은 엔진의 변속기를 재구축하는 것과 같았습니다. 개발자는 데이터 세트에 라벨을 붙이고, 수많은 코드를 새로 작성하고, 신경망 내부의 하이퍼파라미터를 조정하고, 모델을 여러 번 재훈련해야 했습니다.
SteerLM은 이러한 복잡하고 시간이 많이 소요되는 프로세스를 간단한 세 단계로 대체합니다:
- 기본 프롬프트, 응답 및 원하는 속성 세트를 사용하여 이러한 속성이 어떻게 작동할지 예측하는 AI 모델을 사용자 지정합니다.
- 이 모델을 사용하여 데이터 세트를 자동으로 생성합니다.
- 표준 감독 미세 조정 기법을 사용하여 데이터 세트로 모델을 학습합니다.
다양한 엔터프라이즈 사용 사례
개발자는 텍스트 생성이 필요한 거의 모든 엔터프라이즈 사용 사례에 SteerLM을 적용할 수 있습니다.
예를 들어, 기업은 SteerLM을 사용하여 다양한 수직 시장이나 지역에서 변화하는 고객의 태도, 인구 통계 또는 상황에 실시간으로 맞춤화할 수 있는 단일 챗봇을 제작할 수 있습니다.
또한, 하나의 LLM이 기업 전체를 위한 유연한 글쓰기 부조종사 역할을 할 수 있습니다.
예를 들어, 변호사는 추론 중에 모델을 수정하여 법률 커뮤니케이션에 공식적인 스타일을 채택할 수 있습니다. 또는 마케팅 담당자는 잠재 고객을 위해 보다 대화적인 스타일로 글을 작성할 수 있습니다.
SteerLM으로 새로운 도전을 시작하세요
NVIDIA는 SteerLM의 잠재력을 보여주기 위해 대표적인 애플리케이션 중 하나인 게임에서 이를 시연했습니다(아래 비디오 참조).
오늘날 일부 게임에는 사용자나 상황에 관계없이 미리 녹음된 텍스트를 기계적으로 반복하는 수십 개의 NPC(플레이어가 제어할 수 없는 캐릭터)가 포함되어 있습니다.
SteerLM은 이러한 캐릭터에 생동감을 불어넣어 플레이어의 프롬프트에 더 많은 개성과 감정으로 반응하도록 합니다. 게임 개발자가 모든 플레이어에게 독특하고 새로운 경험을 선사하는 데 사용할 수 있는 툴입니다.
SteerLM의 탄생
이 새로운 방법의 개념은 예기치 않게 떠올랐습니다.
“어느 날 아침 일찍 일어나 이 아이디어가 떠올라 자리에서 벌떡 일어나 적어 내려갔습니다.”라고 SteerLM 작업을 시작한 NVIDIA의 응용 연구 과학자 Yi Dong은 회상합니다.
프로토타입을 제작하는 동안 그는 널리 사용되는 모델 컨디셔닝 기법도 이 방법의 일부가 될 수 있다는 것을 깨달았습니다. 모든 조각이 모이고 실험이 성공하자 팀은 간단한 네 단계로 이 방법을 구체화했습니다.
이는 AI 연구 분야에서 가장 뜨거운 분야인 모델 커스터마이징의 최신 발전입니다.
존스 홉킨스 대학에서 컴퓨터 신경과학 박사 학위를 취득한 후 금융 분야에서 머신 러닝 알고리즘을 연구한 후 NVIDIA에 합류한 이 연구원은 “AI가 인간의 관점을 더 가깝게 반영하도록 만드는 일종의 성배와도 같은 도전적인 분야이며, 저는 새로운 도전을 좋아합니다.”라고 말했습니다.
직접 사용해 보기
개발자가 지금 바로 사용해 볼 수 있는 오픈 소스 소프트웨어로 SteerLM을 사용할 수 있습니다. 또한 SteerLM 방법을 사용하여 커스터마이징된 Llama-2-13b 모델을 실험하는 방법에 대한 자세한 내용을 확인할 수 있습니다.
완전한 엔터프라이즈 보안과 지원을 원하는 사용자를 위해 대규모 생성형 AI 모델을 구축, 커스터마이징 및 배포할 수 있는 풍부한 프레임워크인 NVIDIA NeMo에 SteerLM이 통합될 예정입니다.
SteerLM 방식은 커뮤니티에서 구축한 인기 있는 사전 훈련된 LLM(예: Llama-2 및 BLOOM)을 포함하여 NeMo에서 지원되는 모든 모델에서 작동합니다.
기술 블로그에서 SteerLM에 대해 자세히 알아보세요.
소프트웨어 제품 정보에 관한 공지를 참조하세요.