드론이 잘 날도록 학습시키기 위해서는 어떻게 하면 될까요? 드론이 존재하지 않는 물체들을 볼 수 있도록 하면 됩니다. 어떻게 그렇게 하느냐고요? 물론, 가상현실(VR)을 통해서 그렇게 만들 수 있습니다.
여기까지 읽으면 알쏭달쏭하게만 느껴지실 텐데요. 지금부터 설명을 도와드리겠습니다.
MIT의 세르탁 카라만(Sertac Karaman) 교수는 드론을 개발해서 자율 비행이 가능하도록 학습을 진행하고 있습니다. MIT의 항공우주공학 부교수이자 자율시스템기술그룹재단(Foundations of Autonomous Systems Technology Group) 디렉터로서, 카라만 교수의 주요 연구분야는 지상과 공중을 포함한 모든 종류의 자율 주행 차량 및 교통 수단인데요.
카르만 교수팀은 최근에 엔비디아 젯슨(NVIDIA Jetson) 임베디드 플랫폼에 기반하여 2세대 애자일 드론을 개발했습니다. 카르만 교수팀은 이 드론을 트레이닝 시킬 참신한 방법도 발견했는데요.
연구진은 매를 훈련시켜 안전하지 않게 비행하는 드론을 격추시키는 네덜란드 경찰에게 영감을 얻어 맹금류가 드론을 격추시키는 방법을 연구하고자 했습니다. 맹금류의 등에 카메라를 고정시켜서 사냥 과정을 촬영한 것이지요.
이렇게 촬영한 동영상에서는 매가 시각적 신호에 반응해, 초당 70미터의 속도로 급강하하면서도 먹이를 놓치지 않기 위해 머리는 움직인다는 것이 드러났습니다.
이 연구를 바탕으로 카르만 교수팀은 “펭귄(Penguin)”을 개발했습니다. 펭귄은 완전히 자율적으로 움직이고, 탑재된 고속 카메라를 통해 이미지를 젯슨 슈퍼컴퓨터로 스트리밍 전송하는 실내용 드론이었습니다.
하지만 펭귄도 이미 구시대의 이야기가 되어 버렸습니다. 요즘의 대세는 스패로우(Sparrow)인데요. 스패로우는 MIT의 2세대 애자일 드론으로, 젯슨 TX2를 기반으로 하고 있습니다. 3대의 온보드 카메라와 3D 모션 추적용 xSens Precision IMU를 탑재한 스패로우는 비행하는 동안 탐색을 위한 실시간 비주얼 SLAM을 실행합니다.
이게 바로 존재하지 않는 물체를 볼 수 있게 하는 것이지요.
사진처럼 생생한 렌더링을 위해, 카르만 교수는 엔비디아 타이탄X 기반의 워크스테이션을 활용해 스패로우를 비어 있는 모션 캡처실(motion capture room)에서 비행하도록 작동하면서 시뮬레이션 환경을 전송해 탐색하도록 했습니다.
시뮬레이션, 즉 카라만 교수가 말하는 “환각”을 따라 비행하면서 스패로우는 응급 구조 임무나 공장 내에서 작동하고, 마주하게 되는 다양한 장애물을 피해 움직이는 방법을 학습하게 됩니다.
충돌하는 상황이 벌어지면, 스패로우는 트레이닝 환경 내에서 벌칙을 받게 되고, 이후 안정화를 거쳐 다시 비행으로 복귀합니다. 스패로우가 임무를 성공적으로 완수하면 보상이 주어집니다. 카르만 교수는 “향후에는 현재 사용 중인 DGX-1을 이용해 모든 데이터를 취합하고, 보강 학습을 진행하려고 합니다.”라고 말했습니다.
위험한 작업에 대비해 사람을 안전하게 트레이닝 시킬 때 VR을 사용하는 것과 마찬가지로, 스패로우가 환각을 느끼도록 함으로써 카르만 교수팀은 현실 세계에서 충돌로 인해 발생하는 하드웨어의 손상 걱정 없이 드론을 트레이닝 할 수 있습니다.
일만 하고 노는 시간이 없다면 스패로우는 시시한 새처럼 보일 지도 모르겠네요. 하지만 카르만 교수팀은 스패로우가 자율적으로 비행을 즐기고 다른 드론을 쫓아가도록 학습시키고 있답니다.
이외에도 카르만 교수팀은 실시간 연산 및 CPU 기능 등 모든 컴퓨팅 기능을 젯슨 TX2에 의존하는 차세대 드론을 개발한다는 계획을 세웠습니다. 카르만 교수는 “성능이 좋아지면 당연히 드론도 더 좋아집니다. 젯슨 TX2라면 가능합니다”라고 말했습니다.
더 자세한 사항은 카르만 교수의 비디오를 통해 확인해보세요.