올해의 학교 생활은 이전과는 다른 모습이었는데요.
전세계가 코로나19에 적응해 나가고 있는 요즘, 안전을 위해 대면 수업을 지양하고 있는 곳이 아직 많습니다. 그래서 기존의 화상회의 시스템을 이용한 원격수업에서 학생들이 수업 콘텐츠를 읽기 힘들다거나 프레젠테이션 보드에 판서한 내용을 교사들이 무심코 화면에 가리는 문제가 발생하고는 합니다.
이러한 문제들에 직면한 일본 히로시마대학교의 교육자들이 고기능의 원격학습 시스템을 구상했습니다. 여기에 소니의 원격학습 솔루션을 선택해 히로시마대학교의 3개 캠퍼스에 걸쳐 강사와 학생을 연결했는데요. AI를 활용해 강사가 장소에 구애받지 않고 학생과 손쉽게 교류하며 영상 기반으로 정보를 전달하도록 했습니다. 이러한 혁신 덕분에 히로시마대학교의 강사들은 이제 안전한 가상 사설 통신망으로 연결된 3개 캠퍼스에서 학생들을 대상으로 동시에 강의를 진행할 수 있습니다.
AI 도입으로 더욱 스마트해지는 원격 강의
히로시마대학교 원격학습 시스템의 핵심에는 NVIDIA Jetson Edge AI 플랫폼을 기반으로 개발된 소니 REA-C1000 엣지 애널리틱스 어플라이언스(Edge Analytics Appliance)가 있습니다. 이 어플라이언스를 활용하면 값비싼 영상 장비나 복잡한 소프트웨어 애플리케이션이 없이도 역동적인 영상 프레젠테이션을 만들 수 있죠.
소니의 고유AI 알고리즘들이 이 어플라이언스에서 구동되는데요. 딥 러닝 모델들이 제공하는 자동추적(automatic tracking), 줌(zooming), 크로핑(cropping) 등의 기법을 활용하면 비전문가도 고품질의 영상을 제작할 수 있습니다.
사용자들은 엣지 애널리틱스 어플라이언스를 팬⋅틸트⋅줌 기능이 가능한 카메라와 PC, 그리고 디스플레이 또는 녹화 기기와 연결하기만 하면 됩니다. 히로시마대학교의 경우에는 다수의 카메라가 강사의 판서, 학생들의 질문과 참여 내용을 캡처하고 강의실의 크기에 맞춘 풀 HD 영상으로 제공합니다.
이 같은 기술을 관리하는 것도 한층 쉬워졌습니다. 카메라 설정을 복잡하게 조정할 필요 없이 터치스크린 패널을 통해 직관적으로 시스템을 조정할 수 있습니다.
필기의 신세계
엣지 애널리틱스 어플라이언스의 기념비적인 애플리케이션 중 하나는 필기추출(handwriting extraction) 기능입니다. 이를 활용하면 학생들은 필기의 부담에서 벗어나 강의를 보다 온전히 경험할 수 있습니다.
이 애플리케이션은 강사가 화이트보드나 칠판에 수기하는 텍스트와 모양을 카메라로 녹화한 후 글자들이 마치 강사 앞을 떠다니는 것처럼 화면에 즉시 그려냅니다.
원격강의를 실시간 또는 녹화본으로 시청하는 학생들은 필기 원본이 불명확하거나 강사의 신체에 가려지는 일이 있더라도 텍스트와 도표를 제대로 보고 인식할 수 있게 됩니다. NVIDIA Jetson TX2와 소니의 오브젝트 감지 테크놀로지를 결합한 프로세싱 능력 덕분에 칠판에서 화면으로의 전환이 원활하게 진행됩니다.
필기추출 기능은 맞춤으로도 활용 가능합니다. 화면을 떠다니는 텍스트와 숫자의 투명도를 조절할 수 있고 희미하거나 읽기 힘든 글자들은 색깔로 강조해 칠판에 적힌 원본 콘텐츠보다도 눈에 더 쉽게 들어오게 만들 수 있죠.
전문적인 툴 없이도 매력적인 콘텐츠 생산하기
또 다른 혁신적 애플리케이션으로 크로마 키가 필요 없는 CG 오버레이(Chroma key-less CG overlay)가 있는데요, 대규모의 영상 편집 장비가 없이도 동작 오브젝트 감지와 같은 소니의 최첨단 알고리즘을 활용해 강의 콘텐츠를 제작할 수 있도록 해줍니다.
이 애플리케이션은 발표자 전용 그린스크린(greenscreen)처럼 기능해 발표하는 내용과 관련한 애니메이션, 도표, 그래프 일체를 뒤쪽 배경에 매끄럽게 띄워주죠.
기존에는 동작 오브젝트 감지 알고리즘이 전문가용 워크스테이션에서만 구동되었는데요. NVIDIA Jetson TX2가 지원하는 강력한 딥 러닝 기반 기능을 통해 엣지 애널리틱스 어플라이언스에서도 가능하게 되었습니다.
똑똑한 가상 카메라
엣지 애널리틱스 어플라이언스에는 배색, 형체인식, 자세인식 등 다수의 알고리즘들이 추가돼 다음과 같은 기능이 제공됩니다.
- PTZ 오토 트래킹 기능 — 강사의 동작을 자동으로 추적해 강사가 화면을 벗어나는 일이 없도록 합니다.
- 초점 영역 크롭 기능 — 단일 카메라로 녹화한 영상에서 일정 부분을 지정해 잘라내고 다듬어 다른 카메라로 녹화된 것과 같은 효과를 줄 수 있습니다. 이를 활용한 PIP(picture-in-picture) 효과는 강단 전체의 장면을 배경에 놓고 화자의 얼굴을 별도 화면으로 클로즈업해 볼 수 있게 합니다.
- 동작에 따른 클로즈업 기능 — 이 기능은 질문하는 학생을 자동으로 줌인하고 녹화합니다.
NVIDIA Jetson 플랫폼을 활용한 엣지 애널리틱스 어플라이언스는 이처럼 광범위한 애플리케이션을 손쉽게 처리합니다. 그 결과로 전문성 확보나 비용 지출이 없이도 매력적이고 전문적인 영상 프레젠테이션을 제작할 수 있게 됐는데요.
히로시마대학의 담당자들은 이러한 원격학습 프로젝트가 학생과 강사의 만족도를 상당한 수준으로 끌어 올렸다고 말합니다. 히로시마대학교의 3개 캠퍼스를 하나의 시스템으로 연결하면서 캠퍼스 간 소속감 또한 높아지고 있다고 하네요.
쿄소 쿠리스(Kyousou Kurisu) 현립 히로시마대학교 국립대학법인 책임자는 “우리가 원격학습을 위해 소니의 엣지 애널리틱스 어플라이언스를 선택한 이유는 판서 내용을 선명히 보여주고 토론을 장려하여 사실적이고 편안한 학습환경을 구현하는 데 도움이 되기 때문입니다. 추가 인력의 투입이 없이도 강사들이 간단히 조작할 수 있어 비용 대비 효율이 뛰어난 솔루션이라는 점도 매력적이었죠”라고 설명합니다.
소니는 엣지 애널리틱스 어플라이언스에서 지원하는 애플리케이션들을 지속적으로 업데이트할 계획입니다. 시간이 흐르면서 실력이 향상되는 학생들처럼 시스템도 발전을 계속할 일만 남았군요!