L’objectif de cette thèse est d’analyser le développement des instabilités secondaires bidimensionnelles et tridimensionnelles dans les couches de mélange à densité variable, incompressibles et à nombre de Froude infini. Dans ces conditions, la présence d’inhomogénéités de masse volumique modifie sensiblement la dynamique rotationnelle de l’écoulement et celle des instabilités secondaires sous l’action du couple barocline. Une analyse de stabilité linéaire non-modale est mise en oeuvre pour identifier les mécanismes physiques de croissance transitoire. Cette analyse permet également de prendre en compte le caractère instationnaire de la couche de mélange, absent dans l’analyse modale quasi-statique de Fontane (2005). Après établissement des équations de Navier–Stokes linéarisées directes et adjointes à densité variable, celles-ci sont utilisées dans une méthode d’optimisation itérative qui permet de déterminer les perturbations à croissance énergétique maximale. La première partie consiste en la description des perturbations optimales pour une couche de mélange homogène. Aux temps courts, lorsque la couche de mélange est quasi-parallèle, les perturbations optimales présentent de fortes amplifications transitoires, dont l’origine physique est due à la synergie des mécanismes classiques de Orr et de lift-up. Puis lorsque la couche s’enroule pour former un tourbillon de Kelvin–Helmholtz, les perturbations évoluent vers les instabilités tridimensionnelles elliptiques ou hyperboliques, selon le nombre d’onde latéral. Dans la deuxième partie, l’analyse est étendue aux couches de mélange à densité variable. Pendant la phase initiale de développement des perturbations optimales, les inhomogénéïtés de masse volumique ont une influence minime sur la croissance des perturbations. Ce n’est qu’une fois la couche de mélange enroulée que les effets de densité deviennent actifs, entraînant un supplément d’amplification significatif par rapport à la situation homogène. En particulier, le couple barocline favorise le développement des perturbations du côté du fluide léger du rouleau de Kelvin–Helmholtz. Enfin, lorsque le temps d’injection des perturbations est suffisamment retardé, la vorticité produite par le couple barocline favorise le développement d’une instabilité bidimensionnelle du type Kelvin-Helmholtz identifiée par Reinaud et al. (2000).