Aprendizaje automático para clasificación anticipada en datos secuenciales

Abstract

En la formulación tradicional del aprendizaje automático (supervisado) el problema es construir un clasificador que pueda predecir correctamente las clases de nuevos objetos, dados ejemplos de entrenamiento de viejos objetos. El supuesto en este caso es que los ejemplos de entrenamiento corresponden a datos aislados, e independientes entre sí, con suficiente información relevante auto-contenida como para hacer un análisis individual (clasificación) aceptable.Sin embargo, este esquema de trabajo no se adapta a muchas situaciones del mundo real donde la efectividad del sistema de clasificación depende directamente de considerar las observaciones/datos respetando la secuencia en que se fueron generando. Tomemos, por ejemplo, un modelo del lenguaje que predice la probabilidad de ocurrencia de la siguiente letra. Si el sistema leyó una “Q”, la probabilidad de ocurrencia de una “u” será significativamente más alta que la de cualquier otra letra. De igual manera, la interpretación del significado de una palabra como “banco”, no será el mismo si previamente dije que “para comprar esta casa debo retirar dinero del” , que si hubiera dicho “me sentía cansado, por lo que decidí sentarme en el” . En ambos casos, la palabra polisémica “banco”, requiere de las secuencias previas de palabras emitidas, para eliminar cualquier ambigüedad sobre el significado que tiene en cada caso. Esta situación, que hemos ejemplificado con palabras, se repite en un sinnúmero de situaciones involucrando sonidos, imágenes y las más diversas señales sensoriales, en las cuales la correcta interpretación del dato actual de entrada sólo puede realizarse en forma realista, considerando la secuencia de datos previos, e incluso en muchos casos, dependiendo de datos producidos muchos pasos hacia atrás en esa secuencia.En este contexto, esta tesis se enmarca en el área del aprendizaje automático con datos secuenciales (AADS), es decir, asumiremos que el algoritmo de aprendizaje automático explícitamente considera que la entrada es una secuencia.Varios autores han categorizado las aplicaciones de AADS de distintas formas, dependiendo de las características de la entrada y de la salida. En particular, Graves [1], utiliza como marco de referencia el etiquetado de secuencias (sequence labelling) cuyo objetivo es asignar secuencias de etiquetas (tomadas de un alfabeto fijo), a las secuencias de entrada. En este contexto, el tipo de tarea se vincula a las distintas restricciones que se imponen en ese proceso de etiquetado.Cuando las secuencias de etiquetas son restringidas a tener longitud uno la tarea recibe el nombre de “clasificación de secuencia”. Si las secuencias de salida consisten en muchas etiquetas, pero los puntos de la secuencia de entrada donde estas etiquetas deben ser producidas son conocidas de antemano, las tareas son referenciadas como de “clasificación de segmentos”. Por último, el escenario que Graves llama “clasificación temporal”, no impone ningún tipo de alineamiento entre las secuencias de entrada y salida, e incluso la de salida puede ser vacía. El elemento crucial que se incorpora en este caso es que el sistema requiere de un algoritmo para decidir en qué lugar de la secuencia de entrada se debería generar la clasificación (etiqueta) correspondiente.Esta última nomenclatura es de interés para nuestro trabajo, ya que incorpora el aspecto de la decisión de “cuándo” (en qué lugar de la secuencia de entrada) se debería tomar la decisión de generar la etiqueta (clasificación) correspondiente. Este es un aspecto fundamental en un tipo de clasificación temporal que suele ser referenciada como de “clasificación anticipada” (CA). La idea subyacente a la CA es que el clasificador debería ser capaz de poder clasificar la secuencia de entrada tan pronto tenga la información relevante necesaria para poder realizar esta clasificación de manera confiable. La clasificación anticipada suele ser un aspecto deseable, ya que puede en algunos casos evitar algún tipo de costo asociado con la lectura completa de la secuencia de entrada o bien producir una mayor utilidad/beneficio al clasificar anticipadamente el flujo de entrada.Sin embargo, existen casos donde la CA no es sólo “deseable”, sino también “crítica” ya que existe un riesgo asociado con la demora en la clasificación de la secuencia. Estos escenarios, que serán uno de los ejes de esta propuesta de tesis, se han popularizado últimamente con el nombre de “detección anticipada de riesgos” (DAR) (en inglés “early risk detection”).