Cette thèse traite de planification dans l'incertain en environnement instationnaire. Nous cherchons à construire un agent logiciel autonome, capable de se coordonner avec l'évolution de son environnement. Cet environnement est constitué d'autres agents communiquant leurs intentions ou de processus concurrents non-contrôlables pour lesquels un modèle est disponible. Nous explorons plusieurs approches de modélisation d'une dépendance continue au temps dans le cadre des Processus Décisionnels de Markov (MDP), aboutissant à la définition des Problèmes Décisionnels de Markov Temporels. Puis, nous nous intéressons à deux paradigmes distincts. En premier lieu, nous considérons des modèles à événements implicites et les écrivons comme des MDP dépendants du temps (TMDP). Nous étendons l'équation d'optimalité classique et présentons un algorithme d'Itération de la Valeur utilisant des représentations polynômiales par morceaux que nous testons sur deux problèmes de planification pour drones. Ces conclusions permettent alors une discussion plus générale au sujet des actions paramétriques pour les MDP à temps observable. Dans un second temps, nous modélisons séparément les contributions concurrentes d'événements exogènes au système. Cette approche de modélisation à événements explicites mène aux Processus Décisionnels Semi-Markoviens Généralisés (GSMDP). Nous établissons un lien entre la théorie de Spécification des Systèmes à Evénements Discrets (DEVS) et le formalisme GSMDP, permettant ainsi la définition de simulateurs cohérents. Puis nous adoptons une approche d'Itération de la Politique fondée sur la simulation que nous testons sur un problème de contrôle d'un réseau de métro.