Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo

Abstract

Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.

Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.