Reinforcement Learning initialization by evolutionary formulation: Application for workflow autoscaling in the Cloud | ||
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software | |
| dc.conicet.organizacion | Universidad Nacional de Cuyo. Facultad de Ingeniería | |
| dc.conicet.organizacion | Universidad Nacional de Cuyo. Facultad de Ingeniería | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas | |
| dc.conicet.organizacion | Universidad Nacional de Cuyo. Facultad de Ingeniería | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software | |
| dc.conicet.organizacion | Universidad Nacional de Cuyo | |
| dc.conicet.organizacion | Consejo Nacional de Investigaciones Científicas y Técnicas | |
| dc.contributor.author | Robino, Luciano Ivan | |
| dc.contributor.author | Garí Núñez, Yisel | |
| dc.contributor.author | Pacini Naumovich, Elina Rocío | |
| dc.contributor.author | Mateos Diaz, Cristian Maximiliano | |
| dc.contributor.author | Yannibelli, Virginia Daniela | |
| dc.contributor.author | Monge Bosdari, David Antonio | |
| dc.date.issued | 2025-12 | |
| dc.description.abstract | Scientific workflow execution is usually fulfilled through Cloud Computing, but correct autoscaling techniques are needed for proper performance. Reinforcement Learning (RL) has been used for autoscaling, but presents low performance in early stages. Poor initial performance accumulates over episodes, making the learning process more expensive, which is critical in the context of Cloud autoscaling. Solutions to this problem are sparse and difficult to generalize. Here, we present Reinforcement Learning Initialization by Evolutionary Formulation (ReLIEF), which uses evolutionary algorithm to generate an initial pre-optimized RL policy, that is later refined via RL. Proposed initilization aims to reduce the accumulated losses in monetary cost and execution time (i.e. makespan) during learning. In this article two prominent evolutionary algorithm are used: Non-dominated Sorting Genetic Algorithm III (NSGA-III) and Improved Decomposition-Based Evolutionary Algorithm (I-DBEA). On the other hand, for Reinforcement Learning only Q-Learning in tabular form is used. Four benchmark workflows were used to validate savings produced by the proposal. In 3 out of 4 workflows analyzed, ReLIEF outperformed baseline RL agents. In the remaining workflow, competitive performance was obtained. | es |
| dc.description.fil | Fil: Robino, Luciano Ivan. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software; Argentina. Universidad Nacional de Cuyo. Facultad de Ingeniería; Argentina | |
| dc.description.fil | Fil: Garí Núñez, Yisel. Universidad Nacional de Cuyo. Facultad de Ingeniería; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina | |
| dc.description.fil | Fil: Pacini Naumovich, Elina Rocío. Universidad Nacional de Cuyo. Facultad de Ingeniería; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina | |
| dc.description.fil | Fil: Mateos Diaz, Cristian Maximiliano. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software; Argentina | |
| dc.description.fil | Fil: Yannibelli, Virginia Daniela. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Instituto Superior de Ingeniería del Software. Universidad Nacional del Centro de la Provincia de Buenos Aires. Instituto Superior de Ingeniería del Software; Argentina | |
| dc.description.fil | Fil: Monge Bosdari, David Antonio. Universidad Nacional de Cuyo; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina | |
| dc.format | application/pdf | es |
| dc.identifier.citation | Robino, Luciano Ivan; Garí Núñez, Yisel; Pacini Naumovich, Elina Rocío; Mateos Diaz, Cristian Maximiliano; Yannibelli, Virginia Daniela; et al.; Reinforcement Learning initialization by evolutionary formulation: Application for workflow autoscaling in the Cloud; Pergamon-Elsevier Science Ltd; Engineering Applications Of Artificial Intelligence; 162; 12-2025; 1-17 | es |
| dc.identifier.institucional | CONICET | |
| dc.identifier.issn | 0952-1976 | es |
| dc.identifier.repo | CONICET Digital | |
| dc.identifier.uri | http://hdl.handle.net/11336/280579 | |
| dc.journal.pagination | 1-17 | es |
| dc.journal.pais | Estados Unidos | es |
| dc.journal.title | Engineering Applications Of Artificial Intelligence | es |
| dc.journal.volume | 162 | es |
| dc.language.iso | eng | es |
| dc.publisher | Pergamon-Elsevier Science Ltd | es |
| dc.relation.alternativeid | info:eu-repo/semantics/altIdentifier/url/https://linkinghub.elsevier.com/retrieve/pii/S0952197625026946 | |
| dc.relation.alternativeid | info:eu-repo/semantics/altIdentifier/doi/http://dx.doi.org/10.1016/j.engappai.2025.112663 | |
| dc.rights | info:eu-repo/semantics/restrictedAccess | * |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-sa/2.5/ar/ | * |
| dc.subject | CLOUD COMPUTING | es |
| dc.subject | AUTOSCALING | es |
| dc.subject | WORKFLOW | es |
| dc.subject | Q-LEARNING | es |
| dc.subject | NON-DOMINATED SORTING GENETIC ALGORITHM III | es |
| dc.subject | IMPROVED DECOMPOSITION-BASED EVOLUTIONARY ALGORITHM | es |
| dc.subject.classification | Ciencias de la Computación | es |
| dc.subject.classification | Ciencias de la Computación e Información | es |
| dc.subject.classification | CIENCIAS NATURALES Y EXACTAS | es |
| dc.title | Reinforcement Learning initialization by evolutionary formulation: Application for workflow autoscaling in the Cloud | es |
| dc.type | info:eu-repo/semantics/article | |
| dc.type | info:ar-repo/semantics/artículo | |
| dc.type | info:eu-repo/semantics/publishedVersion | |
Archivos
Bloque original
Cargando...
- Nombre:
- CONICET_Digital_Nro.11a2c545-66fc-4c9d-8177-707bae2ddc8b_B.pdf
- Tamaño:
- 2.11 MB
- Formato:
- Adobe Portable Document Format