Voir le résumé
Le Manned-Unmanned Teaming (MUM-T) peut être compris comme une équipe coopérative de plusieurs agents : plusieurs véhicules aériens sans pilote (drones) et éventuellement plusieurs avions pilotés agissant ensemble dans des missions critiques. Par conséquent, une nouvelle perspective est proposée pour l'avenir de l'interaction humain-drone via une telle coopération en équipe, s'inscrivant dans le cadre de l'interaction à initiative mixte (MII). Dans ce contexte, nous considérons que l'agent humain (pilote) n'est pas un agent infaillible. Par exemple, des états mentaux dégradés pourraient diminuer les capacités de l'agent humain pendant l'exécution de la mission. Ainsi, dans ce travail de thèse, nous étudions des algorithmes de calcul physiologique et d'intelligence artificielle pour estimer l'état mental du pilote humain (par exemple, la charge mentale) lorsqu'il interagit avec une équipe de drones dans des conditions de mission difficiles, et ce, afin d'adapter l'interaction entre agents pour améliorer la performance globale.Ainsi, ce travail de thèse commence par la compréhension et l’évaluation les états mentaux des pilotes humains lorsqu'ils interagissent avec les drones. Nous avons développé un scénario employant une équipe humain-drones (MUM-T) dans une mission de recherche et de sauvetage, où les participants jouent le rôle d'un pilote coopérant avec trois drones. Dans une première campagne expérimentale, les missions ont été conçues pour induire des niveaux de charge mentale faibles et élevées, qui ont été évalués à l'aide de mesures subjectives, comportementales et physiologiques (i.e. métriques cérébrales, cardiaques et oculomotrices). Cette première campagne nous a permis (i) de caractériser la charge mentale à partir de signaux physiologiques, étant donné l'impact significatif de la charge mentale sur toutes les mesures ; et (ii) de proposer différentes chaînes de classification qui ont atteint une précision moyennes de classification allant de 75% pour la meilleure à 59,8% pour la moins bonne, en utilisant les caractéristiques cardiaques seules ou en combinaison avec les caractéristiques cérébrales et oculomotrices. Ensuite, sur la base de ces résultats, ce travail de thèse se concentre sur la construction d'un système de prise décision séquentielle qui est capable de surveiller l'état mental de l'homme à travers la sortie du classifieur et de sélectionner les actions appropriées pour adapter l'interaction dans le but de maximiser la performance humaine. Étant donné l'observabilité partielle de l'état mental humain et la nature non déterministe d'un tel système, nous avons construit ce travail dans le cadre des Processus Décisionels de Markov Partiellement Observable (POMDP). Les paramètres du modèle POMDP, qui vise à contrôler l'interaction, ont été approchés en utilisant toutes les données collectées lors de la première campagne expérimentale et les résultats de classification associés. Enfin, ce travail de thèse se termine par une deuxième campagne expérimentale, dont le but été l'évaluation d'une telle politique de contrôle de l'interaction basée sur modèle POMDP, en ce qui concerne la gestion de la performance et de la charge mentale. Dans cette campagne, tous les développements ont été intégrés et testés en ligne : extraction et traitement des caractéristiques physiologiques, estimation de l'état mental humain, et adaptation de l'interaction. Les résultats subjectifs obtenus ont montré que les participants ressentaient une charge de travail significativement moindre lorsque l'approche adaptative était utilisée, par rapport à un système d'interaction non adaptatif. Cependant, les performances réalisées par les participants n’ont pas été significativement améliorées. Ces derniers résultats ont mis en évidence la nécessité d'affiner le modèle de prise de décision, en particulier pour améliorer la performance humaine et la performance globale de l'équipe, et ouvrent plusieurs perspectives de recherche.