Approximations on risk-averse Markov decision processes

Abstract

We consider the problem of approximating the values and the optimal policies in risk-averse discounted Markov Decision Processes with infinite horizon. We study the properties of the rolling horizon and the approximate rolling horizon procedures, proving bounds which imply the convergence of the procedures when the horizon length tends to infinity. We also analyze the effects of uncertainties on the transition probabilities, the cost functions and the discount factors.

Nous considérons le problème de l'approximation de la fonction de valeur et des politiques optimales dans un processus de décision Markovien avec actualisation et aversion au risque. Nous étudions les propriétés de la procédure de l'horizon roulant et son approximation, et montrons des bornes qui impliquent la convergence de ces procédures quand l'horizon de temps tend vers l'in ni. Nous analysons aussi les e ets d'incertitudes sur les probabilités de transition, les fonctions de coût et les facteurs d'actualisation.