NVIDIA 팀이 Amazon KDD Cup 2024에서 5개의 경쟁 트랙 모두에서 금요일 1위를 차지하며 승리를 거두었습니다.
NVIDIA의 Ahmet Erdem, Benedikt Schifferer, Chris Deotte, Gilberto Titericz, Ivan Sorokin 및 Simon Jegou로 구성된 이 팀은 텍스트 생성, 객관식 문제, 이름 개체 인식, 순위 및 검색 등의 부문에서 우승하며 생성형 AI의 뛰어난 능력을 입증했습니다.
‘LLM을 위한 멀티태스크 온라인 쇼핑 챌린지‘라는 주제로 열린 이 대회에서는 참가자들에게 제한된 데이터 세트를 사용해 다양한 과제를 해결하도록 요구했습니다.
“LLM 대회의 새로운 트렌드는 학습 데이터를 제공하지 않는다는 점입니다.”라고 NVIDIA의 선임 데이터 과학자인 Deotte는 말합니다. “모델을 훈련시키기에 충분하지 않은 96개의 예시 질문을 제공하기 때문에 저희는 자체적으로 50만 개의 질문을 만들어냈습니다.”
NVIDIA 팀은 일부는 직접 작성하고, 거대 언어 모델을 사용하여 다른 질문을 만들고, 기존 이커머스 데이터세트를 변형하는 방식으로 다양한 질문을 생성했다고 Deotte는 설명했습니다.
“일단 질문이 생기면 기존 프레임워크를 사용하여 언어 모델을 파인 튜닝하는 것은 간단했습니다.”라고 그는 말했습니다.
대회 주최 측은 참가자들이 이전에 알려진 답을 악용할 수 없도록 시험 문제를 숨겼습니다. 이러한 접근 방식은 전자상거래에 관한 어떤 질문에도 잘 일반화되는 모델을 장려하여 실제 시나리오를 효과적으로 처리하는 모델의 능력을 증명합니다.
이러한 제약에도 불구하고 NVIDIA 팀의 혁신적인 접근 방식은 720억 개의 파라미터가 포함된 최근 출시된 LLM인 Qwen2-72B를 사용하여 8개의 NVIDIA A100 Tensor 코어 GPU에서 미세 조정하고 데이터 세트로 모델을 미세 조정하는 기술인 QLoRA를 채택함으로써 모든 경쟁자를 능가하는 성과를 거두었습니다.
KDD컵 2024 소개
KDD 컵은 미국 컴퓨터학회 지식 발견 및 데이터 마이닝 특별 관심 그룹(ACM SIGKDD)이 주최하는 권위 있는 연례 대회로, 해당 분야의 연구 개발을 촉진하는 대회입니다.
Amazon이 주최한 올해의 챌린지는 거대 언어 모델을 사용하여 보다 직관적이고 만족스러운 경험을 제공하는 것을 목표로 온라인 쇼핑의 복잡성을 모방하는 데 중점을 두었습니다. 주최 측은 실제 Amazon 쇼핑 데이터에서 파생된 57개의 작업과 약 20,000개의 질문으로 온라인 쇼핑의 대규모 과제를 재현한 테스트 데이터 세트인 ShopBench를 활용하여 참가자들의 모델을 평가했습니다.
ShopBench 벤치마크는 네 가지 주요 쇼핑 기술과 다섯 번째 ‘종합’ 과제에 중점을 두었습니다:
- 쇼핑 개념 이해: 복잡한 쇼핑 개념과 용어를 해독합니다.
- 쇼핑 지식 추론: 쇼핑 지식을 바탕으로 정보에 입각한 의사 결정하기.
- 사용자 행동 정렬: 역동적인 고객 행동을 이해합니다.
- 다국어 능력: 다양한 언어로 쇼핑하기.
- 전방위적: 통합 솔루션에서 이전 트랙의 모든 작업을 해결합니다.
NVIDIA의 우승 솔루션
NVIDIA의 우승 솔루션은 각 트랙에 대한 단일 모델을 만드는 것이었습니다.
팀은 약 24시간 동안 8개의 NVIDIA A100 텐서 코어 GPU를 사용하여 막 출시된 Qwen2-72B 모델을 파인 튜닝했습니다. GPU는 빠르고 효율적인 프로세싱을 제공하여 미세 조정에 필요한 시간을 크게 단축했습니다.
먼저, 팀은 제공된 예제를 기반으로 훈련 데이터 세트를 생성하고 build.nvidia.com에서 호스팅되는 Llama 3 70B를 사용하여 추가 데이터를 합성했습니다.
다음으로, 1단계에서 생성한 데이터를 사용하는 훈련 프로세스인 QLoRA(Quantized Low-Rank Adaptation)를 사용했습니다. QLoRA는 모델 가중치의 작은 하위 집합을 수정하여 효율적인 훈련과 미세 조정을 가능하게 합니다.
그런 다음 AWQ 4비트로 모델을 양자화하여 더 작은 하드 드라이브와 적은 메모리를 가진 시스템에서 실행할 수 있게 하고, vLLM 추론 라이브러리를 사용하여 시간 제약 내에서 4개의 NVIDIA T4 텐서 코어 GPU에서 테스트 데이터 세트를 예측했습니다.
이 접근 방식을 통해 각 개별 트랙에서 1위를 차지하고 대회 전체 1위를 차지하며 2년 연속 NVIDIA의 우승을 차지했습니다.
이 팀은 다음 달 솔루션에 대한 자세한 논문을 제출할 계획이며 바르셀로나에서 열리는 KDD 2024에서 연구 결과를 발표할 예정입니다.