Omnidirectional Depth Estimation and Mapping - SNU 임종우 교수님
교수님 소개
- 서울대학교 임종우 교수님
- Honda Research Institute에서 아시모 로봇 연구
- Google에서 Street view 연구개발
- 한양대학교 교수님
- 서울대학교 교수님
- MultiplEYE 대표이사
교수님의 과거 연구
Google map/earth/street view
Google은 굉장히 오래 전 부터 3D에 진심이였다. 최신 Google Map을 보면 NeRF를 이용한 3D reconstruction 결과물도 자주 볼 수 있다. 임종우 교수님께서 Google에 계셨을 때는 indoor street view를 개발하는 업무를 맡으셨다.
기존의 Street view 카메라는 부피와 무게가 상당히 큰 멀티 카메라 시스템이였다. 당시에 Google에서는 indoor street view 기능을 개발하기 위해 작은 카메라 시스템을 만들어냈고, 매 시점마다 조리개를 3번씩 조정해 촬영하여 HDR 이미지를 만들 수 있도록 데이터를 서버에 저장해두었다. 하지만 정작 알고리즘과 파이프라인이 뚫려있지 않은 상태였기 때문에, 임종우 교수님께서는 이 이미지들을 모아 파노라마 이미지를 만들고, 이후 Structure-from-Motion을 통해 카메라 pose를 구하는 작업을 수행하셨다. 위 이미지에서 중앙에 보이는 ‘시점 변환’ 기능이 이에 해당한다.
Microsoft - Cross-device Localization
Microsoft에서는 Minecraft Earth라는 게임에 사용하는 ‘다중 디바이스 간 지도 쉐어링 및 위치 추정‘ 연구를 수행하셨다. Minecraft Earth와 같은 게임에서는 홀로렌즈, 안드로이드 핸드폰, 아이폰 등 다양한 시스템이 공통된 월드 좌표계를 공유하며 자신의 위치를 정확하게 추정하는게 필요하다. 예를 들어, 안드로이드 기기에서 만든 지도를 기반으로 홀로렌즈에서 위치를 추정하려고 할 때, 두 시스템의 카메라가 다를 수 있기 때문에 이를 고려한 Visual place recognition + Pose estimation 알고리즘을 만들어야한다.
Omnidirectional visual and depth sensing
Visual SLAM을 일반적인 사용 환경 또는 복잡한 환경에서 사용하려고 하면 너무나도 많은 failure case가 존재한다 (Feature가 검출이 되지 않는다거나, 시야에서 움직이는 물체가 너무 커서 트랙킹이 꼬인다거나 등등…). 그렇다면, 전방만 바라보는 시야를 넓혀 주위 360도를 전부 보게 된다면, 전방 카메라 이미지에 문제가 생겨도 후방 카메라 이미지를 이용해서 문제 없이 SLAM을 수행할 수 있을 것이다. 실제로 라이다도 360도를 보면서, 전방 데이터가 꼬여도 측방과 후방 데이터를 이용해 안정적으로 ㄴSLAM을 하기도 한다. 카메라로 주변 360도를 볼 수 있다면 이러한 이점을 얻는 동시에, 저렴한 하드웨어라는 이점까지 가져올 수 있다. 하지만 라이다에 비해 360도 카메라 시스템이 갖추지 못한 것 - 바로 ‘depth’ 추정이 안된다는 점이 있기 때문에, 임종우 교수님께서는 360도 방향의 depth를 추정하는 연구를 시작하신다.