Interfaz humano-computadora basada en imágenes para controlar dispositivos que faciliten la asistencia de personas con discapacidades motoras severas

Abstract

El desarrollo de esta tesis se enmarca en la Ingeniería de Sistemas de Control, más específicamente en los Sistemas de Tecnologías de Asistencia. Las tecnologías de asistencia presentan un campo de aplicación importante generando un impacto creciente en el sentido de brindar a personas con discapacidades la posibilidad de ser integradas a la sociedad en distintos aspectos: educación, trabajo, familia, etc. Se trabajó en el desarrollo de interfaces basadas en visión para comandar diferentes dispositivos y de esta manera, proporcionar a las personas con discapacidades una manera alternativa de comunicarse con su entorno. Se propone la utilización de las interfaces basadas en visión desarrolladas de dos formas diferentes: a) Aplicaciones basadas en el manejo del puntero del mouse; y b) Aplicaciones relacionadas con la robótica de asistencia, más específicamente, con el manejo de robots y sillas de ruedas robóticas. Con respecto a las aplicaciones basadas en el manejo del puntero del mouse se desarrollaron diferentes algoritmos de visión artificial que realizan el seguimiento de la cara, la mano o el pie. De esta manera se implementaron tres modalidades diferentes de interfaces basadas en visión para comandar el movimiento del cursor en pantalla brindando diferentes alternativas de interacción con la computadora. Las interfaces desarrolladas trabajan en tiempo real, y las principales características de los algoritmos propuestos radican en su robustez ante las diferentes condiciones de iluminación y bajo costo computacional. Además, su implementación resulta de bajo costo ya que solo necesita de una webcam convencional y dos switches de presión para realizar los clics del mouse. Estas interfaces fueron evaluadas con chicos que poseen parálisis cerebral. Con respecto a las aplicaciones relacionadas con la robótica de asistencia, se desarrolló un algoritmo basado en visión que sigue en tiempo real la posición y orientación de la mano y de la cabeza en el espacio. La primera interfaz basada en visión se aplicó a comandar la navegación de un robot móvil. La segunda interfaz desarrollada se implementó para comandar una silla de ruedas robótica. Se implementaron distintos algoritmos de control (uno basado en el modelo cinemático y otro basado en el modelo dinámico) y se presentan resultados experimentales. Además se desarrolló una interfaz hombre-máquina que realiza el seguimiento de la cabeza en el espacio, permitiendo obtener el ángulo de rotación de la cabeza respecto de dos de sus ejes. Esta interfaz realiza la fusión entre los ángulos obtenidos mediante una VBI y un sensor inercial. El desempeño de la interfaz propuesta se evaluó mediante su aplicación en el comando de una silla de ruedas robótica.

Topics addressed in this thesis fit in the Control Systems Engineering field, and specifically in the Assistive Technologies area. Assistive Technologies represent an important application field, generating an increasing positive impact in the sense of giving to the people with disabilities the possibility of being integrated to society in different aspects: education, work, family, etc. Vision-based interfaces to command different devices have been developed and, this way, provide to disabled people with an alternative communication method. It is proposed the use of the developed vision-based interfaces in two different ways: a) Applications based on controlling the mouse pointer on the screen; and b) Applications related to assistive robotics, more specifically, applications related to guiding a mobile robot or a robotic wheelchair. Regarding the applications based on controlling the mouse pointer on the screen, different image processing algorithms which detect and track the face, hand or foot of the user have been developed. In this way, three different vision-based interfaces to command the cursor movement on the screen have been implemented, providing different alternatives for interaction with the computer. The developed interfaces work in real-time, and the main characteristics of the proposed algorithms lie in their robustness to different lighting conditions and low computational cost. Furthermore, the interfaces have a low-cost implementation because they only need a conventional webcam and two pressure switches for the mouse clicks. These interfaces were evaluated with children who have cerebral palsy. On the other hand, considering the applications related to robotic assistance, it has been developed a vision-based algorithm that tracks the posture of the hand or head of the user in the three-dimensional space. The first vision-based interface has been used to command the navigation of a mobile robot, while the second one has been implemented to command a robotic wheelchair. In both cases, different control algorithms have been developed considering the kinematic model and the dynamic model of the assistive robots. XIV Experimental results of these applications are presented. Finally, a third human-machine interface that combines previous vision-based interface with an inertial sensor has been developed for tracking the head of the user in space. The performance of this proposal has been evaluated through its application in commanding a robotic wheelchair.