Richard Lassaigne (IMJ, Paris 7)

Les processus de décision markoviens fournissent un cadre puissant de formalisation pour les problèmes de contrôle dans un univers non déterministe et probabiliste.

Deux types importants de problèmes sont l’optimisation des coûts (ou des récompenses) et la vérification de propriétés comme l’accessibilité et la sureté. Les méthodes classiques ne sont pas vraiment utilisables pour les systèmes de très grande taille: elles sont de complexité polynomiale dans la taille du système. Dans cet exposé, on présente des méthodes d’approximation par échantillonnage qui n’utilisent qu’un générateur probabiliste du système.