Mejoras en Técnicas de Selección de Variables Usando RFE

Abstract

La clasificación automática de ejemplos es una de las principales tareas del Aprendizaje Automatizado. Consiste en determinar, en base a un conjunto de datos dados, una función que permita asignar la pertenencia a cierta clase a ejemplos no clasificados aún. A menudo la representación de estos datos implica utilizar muchos atributos ovariables y sólo algunas de ellas son relevantes para el problema de clasificación en estudio. Las variables irrelevantes degradan el rendimiento de los métodos de clasificación, tanto en velocidad (debido a la alta dimensionalidad) como en la precisión predictiva (debido a la información irrelevante). Esta situación hace que las técnicas de selección de variables sean de importancia a la hora de aumentar el poder de representación. Para muchos problemas del mundo real las variables relevantes son desconocidas y posiblemente impliquen mucha interacción entre ellas, necesitamos métodos fiables y eficaces para eliminar la mayoría de las variables irrelevantes y así quedarnos con unpequeño subconjunto de variables candidatas que, idealmente, es necesario y suficiente para describir el problema.Muchos esfuerzos se concentran actualmente en desarrollar métodos de selección de variables que sean eficientes computacionalmente, estables ante cambios mínimos en los datos y resistentes al fenómeno de sobreajuste. En particular, Guyon y colaboradores introdujeron el método RFE (Recursive Feature Elimination) para selección de variablesen problemas de expresión génica. El método ha despertado un gran interés, ya que proporciona una gran performance con un relativamente bajo costo computacional. El objetivo general de esta tesis fue el desarrollo de nuevas técnicas de selección de variables basadas en el método RFE para la solución de típicos problemas de clasificación binaria y multiclase. Estas nuevas técnicas fueron ampliamente evaluadas y aplicadas sobre problemas artificiales y al análisis de datos de amplio interés actual en bioinformática, chemoinformática, control de calidad en productos agroindustriales y problemas reales de gran interés científico-tecnológico, obteniéndose resultados promisorios al ser comparadas contra otros métodos del estado del arte.

Automatic classi cation is one of the main tasks in Machine Learning. It consists in assign one of a set of categories to new observation, on the basis of a training set of data. Often the data involves many features and only a few of them are relevant to the classi cation problem. The irrelevant features degrades the performance of classi cation methods, both in speed (due to the high dimensionality) and in predictive accuracy (due to the irrelevant information). Feature selection is an important technique in order to increase representation power. In many real-world problems the relevant features are unknown and may involve a lot of interaction among them. We need reliable and e ective methods to eliminate most irrelevant feature and obtain a good subset of features with high predictive power. Many feature selection methods have been developed over the last years. Particularly, Guyon et. al. introduced the well-known SVM-RFE (Support Vector Machine-Recursive Feature Elimination) method for gene selection. It has been widely applied in analyzing high-dimensional biological data, such as gene expression data and provides good performance with moderate computational e orts. In the present tesis, we propose extensions of SVM-RFE to solve both typical binary and multiclass problems. First, we demonstrate the e ciency of this extensions using arti cial datasets and evaluate the accuracy using several real.world datasets, comparing the results with the selections made with state of the art methods.