Analysis and comparison of deep learning models for user stories identification

Abstract

Nowadays, most software companies have adopted agile development methodologies, which suggest the capture of requirements through user stories. Issues Management Systems allow development teams to manage user stories and other issues, such as errors, change requests, and others. Although these systems provide features for categorizing or labeling issue types, the user often needs to include or specify this information correctly. A poor issue categorization causes many user stories to end up buried in a large volume of data, making it difficult to identify them. This article presents and compares three neural network models to classify issues as User Stories. As the ultimate goal of this research is to improve the quality of the software development project documentation, the comparison is practical to select a model to be embedded in an IMS tool for automatically categorizing issues. The compared models are a BRNN-LSTM model, an Elmo-based model, and a BERT-based model. It applied the CRISP-MD methodology to train, validate, and test the three proposed neural network models. Then, a comparison was performed regarding their accuracy and performance. As a result, the article shows that the BERT-based model is the one that best fits the problem posed, managing to classify the issues as user stories with an accuracy of approximately 97%. This model can analyze the text syntactically and semantically with the best accuracy and performance.

Hoy en día, la mayoría de las empresas de software emplean metodologías de desarrollo ágiles, las cuales recomiendan la captura de requisitos a través de historias de usuario. Tanto las historias de usuario, como otros tipos de incidencias (errores, solicitudes de cambio, etc.) son gestionadas mediante Sistemas de Seguimiento de Incidencias (SSI). Aunque estos sistemas poseen características para el etiquetado o categorización de tipos de incidencias, esta información suele ser omitida o especificada incorrectamente por el usuario. Una mala categorización de las incidencias hace que muchas historias de usuario se pierdan en grandes volúmenes de datos, dificultándose así su posterior recuperación. Este artículo compara tres modelos de redes neuronales para clasificar incidencias como Historias de Usuario. Siendo el objetivo final de esta investigación la mejora de calidad en la documentación de los proyectos de desarrollo de software, la comparación realizada es útil para la selección del mejor modelo a incorporar en una herramienta SSI para la categorización automática de las incidencias. Los modelos comparados son un modelo BRNN-LSTM, un modelo basado en Elmo y un modelo basado en BERT. Se aplicó la metodología CRISP-MD para entrenar, validar y probar los tres modelos de redes neuronales propuestos. Como resultado, el artículo muestra que el modelo basado en BERT es el que mejor se ajusta al problema planteado, consiguiendo clasificar los problemas como historias de usuario con una precisión de aproximadamente el 97%. Además, dicho modelo es capaz de analizar el texto tanto sintáctica como semánticamente con la mejor precisión y rendimiento.