오는 6월 24일 ‘NVIDIA AI 개발자 밋업’이 진행됩니다. 이번 행사에는 IT 서비스 분야에서 적극 활용되는 자연어 처리(NLP) 관련 AI 적용사례를 살펴보는 다양한 세션이 마련돼 있습니다.
NLP 분야는 최근 몇 년간 대규모 계산이 쉽게 이뤄지고 데이터세트의 용량이 확장됨에 따라 빠르게 발전하고 있습니다. GPT-3와 같은 초거대 언어 모델은 인간과 거의 유사한 응답을 생성하는 데 도움을 주며, 이메일 문구 완성, 문서 요약, 라이브 스포츠 해설과 같은 응용 프로그램과 IT 서비스 분야에 다양하게 활용되고 있습니다.
이번 행사에서는 BERT, GPT-3, 메가트론(Megatron), 멀티노드 분산학습(Distributed training) 등 한국어 NLP와 대규모 NLP를 주제로 하는 상반기 결산 밋업이 진행됩니다. 더불어, 지난 6개월 동안 NVIDIA AI 개발자 밋업에 참여해온 AI 개발자들을 위한 감사 이벤트와 대학 내 HER 연구자들을 위한 행사도 함께 마련됩니다.
세션 1. 대규모 언어(Large-scale language) 모델을 위한 NVIDIA 플랫폼
오늘날 온라인 사용자가 급증하면서 컨슈머 인터넷(Consumer Internet) 분야는 머신 러닝, 딥 러닝과 데이터 사이언스 사용자를 가장 많이 보유한 분야 중 하나가 됐습니다. 추천 시스템부터 스마트 챗봇, AI 기반 화상회의까지 아우르는 기능들은 빠르고 지능적인 툴과 인프라에 의존합니다. 이번 발표에서는 트랜스포머 아키텍처를 기반으로 하는 초거대 언어 모델을 훈련하기 위한 파이토치(PyTorch) 기반 프레임워크로, 세계 최대의 임상 언어 모델인 게이터트론을 개발하기 위해 플로리다 대학에 의해 활용되고 있는 메가트론 프로젝트에 대해 알아봅니다. 발표는 홍광수 NVIDIA 솔루션 아키텍트가 맡았습니다.
세션 2. 파이토치에서 AMP 활용하기 – apex.AMP 를 native AMP로 마이그레이션하기
최근 초거대 언어 모델은 질문-응답, 대화 시스템, 요약과 기사 완료와 같은 자연어 처리(NLP) 애플리케이션에서 최첨단 기술을 극적으로 발전시키고 있습니다. 그러나, 이러한 대형 모델은 단일 가속기(Accelerator)의 사용 가능한 메모리에 맞지 않으므로 매개 변수를 여러 가속기로 분할하기 위해 모델 병렬화가 필요합니다. 이번 발표 세션에서는 실제 분산학습과 혼합 정밀도(Mixed precision) 학습에 쉽게 활용할 수 있는 NVIDIA의 APEX 툴에 대해 알아봅니다. 발표는 류현곤 NVIDIA NVAITC 수석 데이터 사이언티스트가 맡습니다.
세션 3. Multilingual BERT 한국어 성능 개선, 한국어 서브워드 분절 방법론 개선
BERT(Bidirectional Encoder Representations from Transformers) 모델은 구글이 공개한 자연어 처리 모델입니다. 기존의 SOTA(State-of-the-Art) 모델이었던 ELMO(Embeddings from Language Model)의 성능을 크게 앞지르는 한편 파인튜닝(fine-tuning)만으로 범용적인 태스크에 모델을 적용할 수 있다는 가능성을 보여줬습니다. 이에 오늘날 대부분의 자연어 처리 모델은 BERT를 기반으로 설계되고 있습니다. 해당 발표 세션에서는 M-BERT(Multilingual BERT) 모델을 한국어에 적용하는 과정에서의 성능 개선 방법, 한국어 서브워드 분절 방법론 개선 방법과 결과에 대해 공유할 예정입니다. 발표는 머신 러닝 기반의 이미지 인식, 분석, 검색 기술을 바탕으로 개인 취향 상품 추천 픽셀(PXL) 서비스를 제공 중인 비전 AI 스타트업 오드컨셉 기술본부장 겸 도쿄공업대학 정보이공학원 소속 문상환이 맡았습니다.
세션 4. 하이퍼클로바(HyperCLOVA)를 위한 서비스 인프라
지난 5월 네이버는 한국어를 가장 잘 이해하고 구사할 수 있는 최초의 초대규모 한국어 AI인 하이퍼클로바를 공개했습니다. 204B의 파라미터 규모로 학습한 하이퍼클로바의 AI 언어 처리 기술은 이미 네이버 서비스에 적용되어 비전문가를 포함해 AI 기술이 필요한 누구에게나 AI 서비스를 손쉽게 만들 수 있도록 합니다. 본 세션에서는 실제 하이퍼클로바의 기반이 되는 서비스 인프라에 대해 서빙, 배포와 운영의 관점에서 심도 있게 알아보고, 하이퍼클로바 앱 구조와 향후 계획을 소개합니다. 발표는 네이버 클로바 ML 시스템 서동필이 맡습니다.
이 외에도, NVIDIA와 딥 러닝 전문가들에게 궁금한 점을 질문하고 발표자로부터 답변을 들을 수 있는 질의응답 세션과 다양한 이벤트도 진행됩니다. 온라인으로 진행되는 이번 행사의 사전 등록은 여기에서 선착순 접수 중입니다. 참가자 전원에게 별도로 온라인 미팅룸 링크가 안내됩니다.