WGANVO: Odometría visual monocular basada en redes adversarias generativas

Abstract

Los sistemas tradicionales de odometría visual (VO), directos o basados en características visuales, son susceptibles de cometer errores de correspondencia entre imágenes. Además, las configuraciones monoculares sólo son capaces de estimar la localización sujeto a un factor de escala, lo que hace imposible su uso inmediato en aplicaciones de robótica o realidad virtual. Recientemente, varios problemas de Visión por Computadora han sido abordados con éxito por algoritmos de Aprendizaje Profundo. En este trabajo presentamos un sistema de odometría visual monocular basado en Aprendizaje Profundo llamado WGANVO. Específicamente, entrenamos una red neuronal basada en GAN para regresionar una estimación de movimiento. El modelo resultante recibe un par de imágenes y estima el movimiento relativo entre ellas. Entrenamos la red neuronal utilizando un enfoque semi-supervisado. A diferencia de los sistemas monoculares tradicionales basados en geometría, nuestro método basado en Deep Learning es capaz de estimar la escala absoluta de la escena sin información extra ni conocimiento previo. Evaluamos WGANVO en el conocido conjunto de datos KITTI. Demostramos que nuestro sistema funciona en tiempo real y la precisión obtenida alienta a seguir desarrollando sistemas de localización basados en Aprendizaje Profundo.Traditional Visual Odometry (VO) systems, direct or feature-based, are susceptible to matching errors between images. Furthermore, monocular configurations are only capable of estimating localization up to a scale factor, making impossible to use them out-of-the-box in robotics or virtual reality application. Recently, several Computer Vision problems have been successfully tackled by Deep Learning algorithms. In this paper we introduce a Deep Learning-based monocular Visual Odometry system called WGANVO. Specifically, we train a GAN-based neural network to regress a motion estimate. The resulting model receives a pair of images and estimates the relative motion between them. We train the neural network using a semi-supervised approach. In contrast to traditional geometry-based monocular systems, our Deep Learning-based method is able to estimate the absolute scale of the scene without extra information and prior knowledge. We evaluate WGANVO on the well-known KITTI dataset. We show that our system works in real time and the accuracy obtained encourages further development of Deep Learning-based localization systems.