미국 항공 우주국(NASA)가 엔비디아 쿼드로(Quadro) RTX GPU를 사용해 데이터 애널리틱스 기술을 개선하고 있습니다.
과학자들과 연구진은 NASA의 태양활동관측위성(SDO)을 통해 태양의 이미지를 수집해 다양한 태양의 변이(variations)를 연구하고 이것이 지구상의 생명체에 주는 영향을 파악하고 있는데요.
이렇게 수집된 데이터는 연구계에 큰 자산이 됩니다. 하지만 이렇게 수집된 이미지의 양이 18 페타바이트에 달하다 보니 이 방대한 이미지 정보를 분석한다는 것 자체가 엄청난 도전이죠.
그래서 NASA 팀은 쿼드로 RTX 기반 데이터 사이언스 워크스테이션 ‘Z by HP’를 이용해 CPU 대비 150배 빠른 속도로 데이터를 간편하게 분류하고 이미지를 분석하고 있습니다.
NASA의 빅 데이터 챌린지
SDO는 1.3초마다 태양의 이미지를 촬영해 데이터를 수집합니다. 연구진은 이미지 데이터에서 불량 픽셀과 같은 오류를 삭제해 날이 갈수록 커져가는 아카이브에 저장하는 알고리즘을 개발했습니다.
이 알고리즘의 정확도는 매우 높지만, 수집된 전체 이미지의 양이 약 20 페타바이트에 달하다 보니 오류로 분류된 픽셀만 해도 수 십억 개 수준입니다. 그래서 NASA 팀은 약 1천 억 건의 불량 픽셀이 담긴 1억 5천만개의 오류 파일을 샅샅이 살펴보면서 정상적인 픽셀과 불량 픽셀을 분류해 라벨링 할 수 있는 방안이 필요했습니다.
기존 컴퓨팅 방식으로 이런 작업을 한 다는 것은 불가능에 가까웠습니다. CPU를 사용하면 최소한 몇 년이 걸리는 규모이기 때문인데요. 아무리 뛰어난 멀티 스레드 CPU 알고리즘을 개발한다 하더라도 이 모든 데이터를 컴퓨팅하고 분석하는 데 1년 정도가 걸릴 겁니다.
NASA 고더드 우주 비행 센터(Goddard Space Flight Center)의 태양 천문학자 라파엘 아티(Raphael Attie)는 “우리가 발견한 결과를 연구하고 반복처리(iteration)하려면 1년도 부족합니다. 컴퓨팅 작업에만 1년이 걸리는 것이지 구체적인 결과를 도출하려면 최대 10년이 소요될 걸요”라고 말했습니다.
연구 결과를 이보다 훨씬 짧은 시간 안에 도출해야 하는 NASA 연구진은 엔비디아 GPU로 병렬 처리할 수 있는 방안을 찾아보기로 했습니다.
빅 데이터 처리문제의 돌파구
NASA의 슈퍼컴퓨팅 리소스를 사용하려면 까다로운 절차를 거쳐야 합니다. 연구원들은 연구에 얼마만큼의 컴퓨팅 리소스가 필요한지, 또 언제까지 그 리소스를 사용해야 하는 지 등의 상세정보를 제공해야 하죠. 그래서 대규모 데이터를 살펴보는데 어느정도의 컴퓨팅 리소스가 필요한지 정확히 알지 못할 경우 슈퍼컴퓨팅 리소스 사용을 신청하기가 어려워집니다.
하지만 두 개의 쿼드로 RTX8000 GPU로 구동되는 데이터 사이언스 워크스테이션 Z by HP를 통해 NASA 연구원들은 자기 자리에서 바로 슈퍼컴퓨팅 리소스에 접근할 수 있었습니다. 또 빅 데이터 애널리틱스 기술로 프로젝트를 확인하고 엔비디아의 가속 컴퓨팅 라이브러리를 통해 엔비디아 GPU의 성능을 100% 활용하기 시작했죠.
연구팀은 데이터 사이언스 워크스테이션 덕택에 이미지 분석과 결과 도출에 소요되는 시간을 일주일 이내로 단축할 수 있었습니다.
NASA의 천체 물리학자인 마이클 커크(Michael Kirk)는 “데이터 사이언스 워크스테이션은 실행가능한 업무 범위를 완전히 바꿨습니다. 우리가 기대했던 컴퓨팅 속도 보다 최소 10배에서 최대 150배까지 빨라졌습니다. 전에는 상상도 할 수 없던 연산 속도죠”라고 소감을 밝혔습니다.
NASA 팀은 태양의 비밀을 밝히기 위해 인공지능(AI), 머신 러닝, 데이터 애널리틱스를 통해 광범위한 연구를 진행하고 있습니다. 대부분의 데이터 사이언스 워크플로우에서는 파이썬(Python)을 기반으로 텐서플로우(TensorFlow), 다스크(Dask), 쿠파이(CuPy), 그리고 기타 대규모 데이터 처리를 위한 애플리케이션인 판다스(Pandas), 래피즈(RAPIDS), 통계 분석을 위한 CuDF, 그리고 다양한 2D와 3D 시각화 도구들이 사용되고 있습니다.
NASA 연구팀은 데이터 사이언스 워크스테이션으로 GPU 성능을 활용해 애널리틱스 워크플로우를 개선했습니다. 그 결과 연구원들은 연산과 반복처리를 빠르게 진행할 수 있게 됐죠.
NASA 팀이 데이터 필터링과 분석을 마친 다음 할 일은 그 정보를 활용해 초기에 정상 픽셀로 표시된 다른 픽셀을 분석하고 전체 데이터 세트를 검증하기 위해 해당 픽셀이 정말 정상인지 확인하는 것입니다.
로컬 GPU 기반 워크스테이션
AI와 빅 데이터 애널리틱스 분야에서 클라우드 환경 속 무반응형(non-responsive) 워크플로우는 프로젝트에 엄청난 영향을 미칩니다. 이런 방해요소들은 장기적으로 프로젝트의 추진력, 생산성, 그리고 멤버들의 동기 부여를 저하시키는데요. 그래서 아티 연구원은 원활한 프로토타이핑을 위해 데이터 프로세싱의 서브세트(subset)를 충분히 수용할 수 있는 메모리를 갖춘 로컬 GPU 기반 워크스테이션이나 노트북을 사용할 것을 권장하고 있습니다.
아티 연구원은 “반응형 워크플로우를 구현하려면 GPU 장치를 이용해 입력 데이터에 신속히 접근할 수 있어야 합니다. GPU 장치와 동일한 기계에 데이터를 로컬로 갖고 있을 수 없으면, AI 애플리케이션이 데이터에 빠르게 액세스 할 수 있는 경우가 많은 것처럼 네트워크 역시 굉장히 빠르고 탄력적이어야 합니다”라고 말했습니다.
아티와 커크 연구원들의 프로젝트 결과는 발행물과 전문 저널을 통해 공개됩니다. 또한 세미나와 컨퍼런스를 통해 특정 프레임워크나 맞춤형 코드(customized code)로 어떻게 데이터를 수집했는지에 대해 동료들과 논의하고 발표도 할 예정입니다. 재택근무자들이 늘어나면서 NASA 팀은 외부와 원활하게 소통하고 최신 프로젝트 결과를 공유할 수 있는 원격 도구에 점차 더 익숙해지고 있습니다.
NASA 웨비나에서 이 프로젝트에 대한 보다 상세한 정보를 확인하세요.
엔비디아 데이터 사이언스 워크스테이션에 대해 더 알고 싶다면 클릭하세요.
2012년 5월 16일 SDO가 관측한 태양 이미지 (NASA제공)