Exploiting user-frequency information for mining regionalisms in Argentinian Spanish from Twitter

Abstract

The task of detecting regionalisms (expressions or words used in certain regions) has traditionally relied on the use of questionnaires and surveys, heavily depending on the expertise and intuition of the surveyor. The emergence of social media and microblogging services has produced an unprecedented wealth of content (mainly informal text generated by users), opening new opportunities for linguists to extend their studies of language variation. Previous work on the automatic detection of regionalisms depended mostly on word frequencies. In this work, we present a novel metric based on Information Theory that incorporates user frequency. We tested this metric on a corpus of Argentinian Spanish tweets in two ways: via manual annotation of the relevance of the retrieved terms, and also as a feature selection method for geolocation of users. In either case, our metric outperformed other techniques based on word frequency, suggesting that measuring the amount of users that use a word is an informative feature. This tool has helped lexicographers discover several unregistered words of Argentinian Spanish, as well as different meanings assigned to registered words.

La tarea de detección de regionalismos (expresiones o palabras utilizadas en determinadas regiones) se ha basado tradicionalmente en el uso de cuestionarios y encuestas, dependiendo en gran medida de la experiencia e intuición del encuestador. El surgimiento de las redes sociales y los servicios de microblogging ha producido una riqueza de contenido sin precedentes (principalmente texto informal generado por los usuarios), lo que abre nuevas oportunidades para que los lingüistas amplíen sus estudios sobre la variación lingüística. El trabajo previo sobre la detección automática de regionalismos dependía principalmente de las frecuencias de las palabras. En este trabajo presentamos una métrica novedosa basada en la Teoría de la Información que incorpora la frecuencia del usuario. Probamos esta métrica en un corpus de tuits en español argentino de dos maneras: a través de la anotación manual de la relevancia de los términos recuperados y también como un método de selección de características para la geolocalización de los usuarios. En cualquier caso, nuestra métrica superó otras técnicas basadas en la frecuencia de palabras, lo que sugiere que medir la cantidad de usuarios que usan una palabra es una característica informativa. Esta herramienta ha ayudado a los lexicógrafos a descubrir varias palabras no registradas del español argentino, así como diferentes significados asignados a las palabras registradas.