멋진 아이디어에 대해 이야기해볼까요? 한 과학자 팀이 GPU 가속 딥 러닝을 사용해 야간 비전 시스템에 색상을 가져오는 방법을 보여줬습니다.
피에르 발디(Pierre Baldi) 교수와 앤드류 브라운(Andrew Browne) 박사가 이끄는 미국 캘리포니아 어바인 대학(Univ. of California, Irvine)의 연구팀이 ‘플로스 원(PLOS One)’ 저널에 최근 게재된 논문에서 적외선 카메라를 이용해 얼굴의 컬러 사진을 재구성한 방법을 설명했는데요.
이 연구는 인간이 감지할 수 없는 근적외선 조명으로 빛을 수집하는 카메라를 통해 우리가 볼 수 있는 것을 예측하고 재구성하는데 있어서 중간 단계가 되어줄 것입니다.
연구의 저자들은 인간이 소위 “가시 스펙트럼”이나, 400에서 700나노미터 사이에 있는 파장을 가진 빛을 본다고 설명합니다.
일반적인 야간 비전 시스템은 우리가 볼 수 없는 스펙트럼 밖의 적외선을 수집하는 카메라에 의존하는데요.
카메라로 수집된 정보는 그 다음 단계로 적외선 카메라가 감지하는 것을 단색으로 보여주는 디스플레이로 옮겨진다고 연구원들은 설명합니다.
캘리포니아 어바인 대학 연구팀은 적외선 카메라로 포착한 빛을 이용해 인간이 보는 것을 예측하는 딥 러닝에 의존하는 이미징 알고리즘을 개발했습니다.
다시 말해, 연구팀은 사람에게 완전히 “어둠”일 수 있는 곳에서 카메라를 사용해 그 장면을 디지털로 렌더링할 수 있습니다.
이를 위해 연구원들은 가시광선과 근적외선에 민감한 단색 카메라를 사용해 얼굴의 인쇄 이미지로 이루어진 이미지 데이터세트를 얻었습니다.
이 이미지들은 표준적인 가시광선 내의 적색, 녹색, 청색과 적외선 파장에 걸친 다중 스펙트럼 조명으로 수집됐습니다.
그런 다음 연구팀은 근적외선 이미지에서 가시 스펙트럼 이미지를 예측하기 위해 프라이부르크 대학(University of Freiburg) 컴퓨터 과학부의 생물의학 이미지 분할을 위해 처음 개발된 특수 합성곱 신경망인 U-Net과 같은 아키텍처로 합성곱 신경망을 최적화했습니다.
NVIDIA GPU로 훈련된 이 시스템은 훈련을 위한 140개의 사람 얼굴 이미지, 유효성을 위한 40개 이미지, 테스트를 위한 20개 이미지를 사용했습니다.
그 결과, 연구팀은 어두운 방에서 적외선 카메라로 찍은 사람들의 컬러 초상화를 성공적으로 재현했죠. 다시 말해, 어둠 속에서 컬러 이미지를 “볼 수 있는” 시스템을 만든 것입니다.
확실히 이런 시스템은 아직 일반적인 용도로 사용될 준비가 되진 않았습니다. 앞으로 꽃이나 얼굴과 같은 여러 종류의 물체의 색을 예측하도록 훈련될 필요가 있는데요.
그럼에도 이 연구는 우리가 언젠가 어두운 곳에서도 낮처럼 야간 비전 시스템을 통해 색을 볼 수 있거나, 과학자들이 가시광선에 민감한 생물학적 샘플을 연구할 수 있는 발판이 될 것입니다.
주요 이미지 출처: 브라운 외.