온라인 리테일 시장만큼 경쟁이 치열하고 빠르게 변화하고 있는 다른 산업은 상상하기 어렵습니다.
판매자는 잠재 고객들에게 더욱 매력적이고 유익한 상품 리스팅을 작성하여 관심을 끌고, 주의를 끌며, 신뢰를 얻어야 합니다.
아마존은 이러한 최신 소매업의 빠른 트렌드에 맞춰 균형을 찾아주는 생성형 AI 도구를 구동하기 위해 엔비디아 텐서(NVIDIA Tensor) 코어 GPU와 함께 Amazon EC2(Amazon Elastic Compute Cloud)에서 최적화된 컨테이너를 사용합니다.
아마존의 새로운 생성형 AI 기능은 판매자가 매력적인 제목, 글머리 기호, 설명 및 제품 속성을 원활하게 생성할 수 있도록 지원합니다.
우선, 아마존은 콘텐츠를 개선할 수 있는 리스팅을 식별하고 생성 AI를 활용하여 고품질 콘텐츠를 자동으로 생성합니다. 셀러는 생성된 콘텐츠를 검토하고 원하는 경우 피드백을 제공하거나 아마존 카탈로그의 콘텐츠 변경 사항에 동의하여 그대로 진행시킬 수 있습니다.
이전에는 셀러가 상세한 제품 목록을 작성하는 데 상당한 시간과 노력이 필요했지만, 이같이 간소화된 프로세스를 통해 다른 작업에 더 많은 시간을 할애할 수 있게 되었습니다.
엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM) 소프트웨어는 현재 깃허브(GitHub)에서 다운로드할 수 있으며, 프로덕션 AI를 위한 엔터프라이즈급 보안, 지원 및 안정성을 제공하는 엔비디아 AI 엔터프라이즈를 통해 액세스할 수 있습니다.
TensorRT-LLM 오픈 소스 소프트웨어는 AI 추론을 더 빠르고 스마트하게 만들어 줍니다. 이 소프트웨어는 방대한 양의 텍스트로 학습된 위의 기능을 위한 아마존의 모델과 같은 대규모 언어 모델과 함께 작동합니다.
엔비디아 H100 텐서 코어 GPU에서 TensorRT-LLM은 라마(Llama) 1 2, 팔콘(Falcon), 미스트랄(Mistral), MPT, ChatGLM, 스타코더(Starcoder) 등과 같은 기반 LLM에서 최대 8배의 속도 향상을 지원합니다.
또한 멀티 GPU 및 멀티 노드 추론, 인플라이트 배칭, 페이징 주의, FP8 정밀도의 호퍼(Hopper) 트랜스포머 엔진을 지원하여 판매자 경험의 지연 시간과 효율성을 개선시켜 줍니다.
아마존은 TensorRT-LLM과 엔비디아 GPU를 사용함으로써 비용이나 필요한 GPU 측면에서 생성형 AI 도구의 추론 효율을 2배 향상시켰고, TensorRT-LLM을 사용하지 않고 구현한 이전 버전에 비해 추론 지연 시간을 3배 단축했습니다.
효율성이 향상되어 더욱 환경 친화적이며, 지연 시간이 3배 개선되어 아마존 카탈로그(Amazon Catalog)의 생성 기능이 더욱 빠르게 반응합니다.
생성형 AI 기능은 판매자의 시간을 절약하고 더 적은 노력으로 더 풍부한 정보를 제공할 수 있습니다. 예를 들어, 인체공학적 디자인, 긴 배터리 수명, 커서 설정 조정, 다양한 디바이스와의 호환성 등을 갖춘 무선 마우스에 대한 상품 리스트를 보강할 수 있습니다. 또한 색상, 크기, 무게, 재질과 같은 제품 속성을 생성할 수도 있습니다. 이러한 세부 정보는 고객이 정보에 입각한 결정을 내리고 반품을 줄이는 데 도움이 될 수 있습니다.
이제 아마존 셀러는 생성형 AI를 통해 더욱 매력적인 리스팅을 쉽고 빠르게 생성하는 동시에 에너지 효율을 높여 더 많은 고객에게 도달하고 비즈니스를 더 빠르게 성장시킬 수 있습니다.
개발자는 지금 바로 TensorRT-LLM을 시작할 수 있으며, 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise)를 통해 엔터프라이즈 지원을 받을 수 있습니다.