노트: 본 게시물은 RTX PC 및 워크스테이션 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구 및 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해할 수 있도록 하는 것을 목표로 하는 NVIDIA의 AI Decoded 시리즈의 일부입니다.
AI가 iPhone의 순간을 맞이하고 있는 가운데, 챗봇은 AI의 주요 인기 앱 중 하나입니다.
이는 거대 언어 모델, 인터넷만큼이나 광범위한 대규모 데이터세트에 대해 사전 훈련된 딥 러닝 알고리즘 덕분에 가능했습니다. 이 알고리즘은 텍스트 및 기타 형태의 콘텐츠를 인식, 요약, 번역, 예측 및 생성할 수 있습니다. NVIDIA GeForce 및 RTX GPU 기반의 PC 및 워크스테이션에서 로컬로 실행할 수 있습니다.
LLM은 대량의 텍스트를 요약하고, 인사이트를 얻기 위해 데이터를 분류 및 마이닝하고, 사용자가 지정한 스타일, 어조 또는 형식으로 새 텍스트를 생성하는 데 탁월합니다. 컴퓨터 코드나 단백질 및 유전자 서열과 같이 인간이 구사하는 언어를 넘어 모든 언어로 의사 소통을 촉진할 수 있습니다.
첫 번째 LLM은 텍스트만 처리했지만 이후의 반복은 다른 유형의 데이터에 대해 훈련되었습니다. 이러한 멀티모달 LLM은 이미지, 오디오, 영상 및 기타 콘텐츠 형식을 인식하고 생성할 수 있습니다.
ChatGPT와 같은 챗봇은 자연어 프롬프트와 대화하고 자연어 프롬프트에 응답하도록 구축된 친숙한 인터페이스를 통해 소비자 대상에게 LLM을 제공한 초기 챗봇 중 하나입니다. 이후 LLM은 개발자가 코드를 작성하고 과학자가 신약 개발 및 백신 개발을 주도하도록 돕는 데 사용되었습니다.
하지만 이러한 기능을 지원하는 AI 모델은 연산 집약적입니다. AI를 위해 특별히 제작된 RTX GPU와 양자화 같은 고급 최적화 기술 및 알고리즘을 결합하면 LLM을 충분히 컴팩트하게 만들고 PC를 인터넷 연결 없이 로컬에서 실행할 수 있을 정도로 강력하게 만들 수 있습니다. 그리고 Chat with RTX를 지원하는 LLM 중 하나인 미스랄(Misral)과 같은 새로운 경량 LLM은 더 낮은 전력 및 스토리지 요구 사항으로 최첨단 성능을 위한 무대를 마련합니다.
LLM이 중요한 이유
LLM은 광범위한 활용 사례, 산업 및 워크플로우에 맞게 조정할 수 있습니다. 이러한 다재다능함은 고속 성능과 결합되어 거의 모든 언어 기반 작업에서 성능 및 효율성 향상을 제공합니다.
LLM은 AI 및 머신 러닝을 사용하여 정확한 출력을 제공하는 DeepL과 같은 언어 번역 앱에서 널리 사용됩니다.
의료 연구원들은 환자 치료를 개선하기 위해 교과서 및 기타 의료 데이터에 대해 LLM을 훈련하고 있습니다. 소매업체는 LLM 기반 챗봇을 활용하여 뛰어난 고객 지원 경험을 제공하고 있습니다. 재무 분석가는 LLM을 활용하여 통화 및 기타 중요한 회의를 전사하고 요약합니다. 이는 빙산의 일각에 불과합니다.
Chat with RTX와 같은 챗봇과 LLM을 기반으로 구축된 쓰기 어시스턴트는 콘텐츠 마케팅 및 카피라이팅에서 법률 운영에 이르기까지 지식 업무의 모든 측면에서 영향력을 발휘하고 있습니다. 코딩 도우미는 소프트웨어 개발의 AI 지원 미래를 향한 최초의 LLM 기반 애플리케이션 중 하나였습니다. 이제 ChatDev와 같은 프로젝트는 LLM을 AI 에이전트(질문에 답하거나 디지털 작업을 수행하는 데 도움을 주는 스마트 봇)와 결합하여 온디맨드 버츄얼 소프트웨어 회사를 설립하고 있습니다. 어떤 종류의 앱이 필요한지 시스템에 알려주고 앱이 작동하는 모습을 지켜보기만 하면 됩니다.
NVIDIA 테크니컬 블로그에서 LLM 에이전트에 대해 자세히 알아보세요.
대화만큼 쉬운 사용법
많은 사람들은 자연어를 통해 LLM의 사용을 단순화하여 모델에게 지시하는 방식으로 간단하게 사용자 작업을 수행할 수 있는 ChatGPT와 같은 챗봇을 통해 생성형 AI를 처음 접했습니다.
LLM 기반 챗봇은 마케팅 문구 초안을 생성하고, 휴가를 위한 아이디어를 제공하고, 고객 서비스를 위한 이메일을 작성하고, 독창적인 시를 구상하는 데 도움을 줄 수 있습니다.
이미지 생성 및 멀티모달 LLM의 발전은 놀랍도록 단순한 사용자 경험을 유지하면서 챗봇의 영역을 이미지 분석 및 생성을 포함하도록 확장했습니다. 봇에게 이미지를 설명하거나 사진을 업로드하고 시스템에 분석을 요청하기만 하면 됩니다. 채팅이지만 이제는 시각 보조 장치도 함께 제공됩니다.
향후 기술 발전은 LLM이 논리, 추론, 수학 등의 역량을 확장하는 데 도움이 되어 복잡한 요청을 더 작은 하위 작업으로 나눌 수 있는 기능을 제공할 것입니다.
복잡한 프롬프트를 가져와 더 작은 프롬프트로 쪼개고, LLM 및 기타 AI 시스템과 자율적으로 교류하여 프롬프트를 완료할 수 있는 애플리케이션인 AI 에이전트에서도 진전이 이루어지고 있습니다. ChatDev는 AI 에이전트 프레임워크의 예이지만, 에이전트는 기술 작업에만 국한되지 않습니다.
예를 들어 사용자는 개인 AI 여행사에 해외 가족 여행을 예약하도록 요청할 수 있습니다. 에이전트는 이 작업을 일정 계획, 여행 및 숙박 예약, 짐 목록 생성, 반려견 산책 도우미 찾기 등의 하위 작업으로 분할하고 순서대로 독립적으로 실행합니다.
RAG를 통한 개인 데이터 활용
LLM과 챗봇은 일반적인 용도로 강력하지만 개별 사용자의 데이터와 결합되면 더욱 유용할 수 있습니다. 이렇게 함으로써 이메일 받은 편지함을 분석하여 동향을 파악하고, 밀집된 사용자 설명서를 자세히 살펴보고 일부 하드웨어에 대한 기술적인 질문에 대한 답을 찾거나, 수년간의 은행 거래 및 신용 카드 거래명세서를 요약할 수 있습니다.
검색 증강 생성(RAG)은 특정 데이터세트에 대한 LLM을 개선하는 가장 쉽고 효과적인 방법 중 하나입니다.
RAG는 외부 소스에서 가져온 팩트를 통해 생성형 AI 모델의 정확도와 신뢰성을 향상합니다. RAG는 LLM을 거의 모든 외부 리소스와 연결하여 사용자가 데이터 리포지토리와 채팅할 수 있게 하는 동시에 LLM이 소스를 인용할 수 있도록 합니다. 사용자 경험은 간단해서 챗봇으로 파일이나 디렉터리를 가리키면 됩니다.
예를 들어, 표준 LLM은 콘텐츠 전략 모범 사례, 마케팅 전술 및 특정 산업 또는 고객 기반에 대한 기본 인사이트에 대한 일반 지식을 보유합니다. 하지만 RAG를 통해 제품 출시를 지원하는 마케팅 자산에 연결하면 콘텐츠를 분석하고 맞춤형 전략을 계획하는 데 도움을 줄 수 있습니다.
RAG는 애플리케이션이 지원하므로 모든 LLM과 함께 작동합니다. NVIDIA의 RTX 기술 데모는 LLM을 개인 데이터세트에 연결하는 RAG의 예시입니다. GeForce RTX 또는 NVIDIA RTX 전문 GPU가 탑재된 시스템에서 로컬로 실행됩니다.
RAG에 대해 자세히 알아보고 LLM 미세 조정과 비교하는 방법에 대해 자세히 알아보려면 기술 블로그 RAG 101: 검색 증강 생성 질문과 답변을 읽어보세요.
Chat with RTX의 속도와 개인 정보 보호 경험
Chat With RTX는 사용하기 쉽고 무료로 다운로드할 수 있는 맞춤형 로컬 챗봇 데모입니다. RAG 기능과 TensorRT-LLM 및 RTX 가속화로 제작되었습니다. Meta의 Llama 2 및 Misral의 Misral을 포함한 여러 오픈 소스 LLM을 지원합니다. Google의 Gemma에 대한 지원은 향후 업데이트에서 제공될 예정입니다.
사용자는 파일을 폴더에 끌어다 놓고 데모에서 해당 위치를 가리키기만 하면 PC의 로컬 파일을 지원되는 거대 언어 모델에 쉽게 연결할 수 있습니다. 이를 활용하면 상황에 맞는 관련 답변을 통해 쿼리에 빠르게 응답할 수 있습니다.
Chat With RTX는 GeForce RTX PC 및 NVIDIA RTX 워크스테이션에 탑재된 Windows에서 로컬로 실행되므로 결과가 빠르고 사용자의 데이터가 디바이스에 유지됩니다. Chat With RTX를 사용하면 클라우드 기반 서비스에 의존하는 대신 서드 파티와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 중요한 데이터를 처리할 수 있습니다.
AI가 미래를 어떻게 만들어 가는지 자세히 알아보려면 3월 18일부터 21일까지 캘리포니아 새너제이에서 진행되는 글로벌 AI 개발자 컨퍼런스인 NVIDIA GTC를 온라인으로 시청하세요