Pour les articles homonymes, voir Stable.

En algèbre linéaire, un endomorphisme laisse stable un sous-espace vectoriel F quand les éléments de F ont pour image un élément de F.

La recherche de sous-espaces stables est étroitement liée à la théorie de la réduction des endomorphismes.

Soient E un espace vectoriel et u un endomorphisme de E.

Un sous-espace vectoriel F de E est dit stable par u quand ${\displaystyle u(F)\subset F}$, c'est-à-dire : ${\displaystyle \forall x\in F,\ u(x)\in F}$. Dans ce cas, u induit sur F un endomorphisme

${\displaystyle u_{F}:\left\{{\begin{matrix}F&\longrightarrow &F\\x&\longmapsto &u(x)\end{matrix}}\right.}$

L'endomorphisme induit est la double restriction de l'endomorphisme initial avec à la fois un nouvel ensemble de départ et un nouvel ensemble d'arrivée. La condition de stabilité est une condition nécessaire et suffisante pour que cette double restriction soit une application.

Si E est de dimension finie et muni d'une base adaptée à F (c'est-à-dire une base de F complétée en une base de E), la matrice représentative de u peut être notée par blocs

${\displaystyle {\begin{pmatrix}A&B\\C&D\end{pmatrix}}}$

Alors F est un espace stable par u si et seulement si C = 0, et dans ce cas la matrice de l'endomorphisme induit sur F est A.

• Soient E un espace vectoriel et u un endomorphisme de E. Les deux sous-espaces triviaux {0} et E sont stables par u.
• Un endomorphisme d'un espace vectoriel non nul pour lequel les seuls sous-espaces stables sont les deux sous-espaces triviaux est qualifié d'endomorphisme irréductible. Tout endomorphisme d'une droite vectorielle est irréductible. Toute rotation d'un plan euclidien dont l'angle n'est pas un multiple de ${\displaystyle \pi }$ est irréductible. En dimension finie, un endomorphisme est irréductible si et seulement s'il est cyclique et si son polynôme minimal est irréductible.
• Soient E un espace vectoriel, u un endomorphisme de E et ${\displaystyle (A_{i})_{i\in I}}$ une famille de sous-espaces stables par u. Alors ${\displaystyle \cap _{i\in I}A_{i}}$ et ${\displaystyle \sum {}_{i\in I}A_{i}}$ sont stables par u
• Une droite est stable par un endomorphisme u si et seulement si elle est engendrée par un vecteur propre de u. En conséquence, tout sous-espace engendré par des vecteurs propres de u est stable par u.
• Si u est un endomorphisme diagonalisable de E alors tout sous-espace de E possède un supplémentaire stable par u^[1]. À l'inverse, le noyau d'un endomorphisme nilpotent non nul est un sous-espace (stable) sans supplémentaire stable.
• Si u est diagonalisable, alors sa restriction à tout sous-espace stable est diagonalisable^[1], c.-à-d. que les sous-espaces stables sont exactement les sous-espaces engendrés par des vecteurs propres.

Pour ${\displaystyle E}$ un espace vectoriel, ${\displaystyle F}$ un sous-espace vectoriel de ${\displaystyle E}$ et ${\displaystyle X}$ un ensemble d'endomorphismes de ${\displaystyle E}$, on dit que ${\displaystyle F}$ est stable par ${\displaystyle X}$ si ${\displaystyle F}$ est stable par tout élément de ${\displaystyle X}$.

On suppose encore E de dimension finie n. Un endomorphisme est dit trigonalisable quand il possède une matrice représentative triangulaire supérieure.

Cela revient à chercher des espaces ${\displaystyle E_{1}\subset E_{2}\subset \dots \subset E_{n}=E}$, de dimensions respectives 1, 2, …, n, tous stables par u. On parle alors de drapeau stable par u.

Soient E un K-espace vectoriel, u un endomorphisme de E et P un polynôme à coefficients dans K. Les sous-espaces ${\displaystyle \operatorname {Ker} (P(u))}$ et ${\displaystyle \operatorname {Im} (P(u))}$ sont stables par u. Pour que cette construction soit intéressante, il est nécessaire que l'endomorphisme ${\displaystyle P(u)}$ soit à la fois non nul et non inversible. C'est ce qui arrive en dimension finie lorsque le polynôme P est un diviseur strict du polynôme minimal de u.

Soit ${\displaystyle \lambda }$ une valeur propre de u, c'est-à-dire, en dimension finie, une racine du polynôme ${\displaystyle \pi _{u}}$. Notons ${\displaystyle \gamma }$ la multiplicité de ${\displaystyle \lambda }$ dans le polynôme ${\displaystyle \pi _{u}}$. On peut définir deux espaces stables intéressants :

• ${\displaystyle \operatorname {Ker} (u-\lambda \operatorname {Id} )}$ s'appelle espace propre associé à la valeur propre ${\displaystyle \lambda }$ ;
• ${\displaystyle \operatorname {Ker} (u-\lambda \operatorname {Id} )^{\gamma }}$ s'appelle sous-espace caractéristique associé à la valeur propre ${\displaystyle \lambda }$, il contient l'espace propre ci-dessus. Il lui est égal si et seulement si la multiplicité ${\displaystyle \gamma }$ de cette valeur propre dans le polynôme minimal ${\displaystyle \pi _{u}}$ vaut 1.

Lorsque le polynôme ${\displaystyle \pi _{u}}$ est scindé, le lemme des noyaux permet d'affirmer que les sous-espaces caractéristiques sont supplémentaires. Dans ce cas u est diagonalisable si et seulement si chaque espace caractéristique est égal à l'espace propre correspondant.

Soient E un K-espace vectoriel, u un endomorphisme de E et x un vecteur de E. L'ensemble ${\displaystyle \{P(u)\ (x)\mid P\in K[X]\}}$ est stable par u. On l'appelle sous-espace cyclique engendré par x.

On dit que u est un endomorphisme cyclique s'il existe un vecteur x de E tel que le sous-espace cyclique engendré par x est égal à E.

Si E est de dimension n et u est un endomorphisme cyclique de E, alors ${\displaystyle (x,u(x)\dots ,u^{n-1}(x))}$ est une base de E et la matrice de u dans cette base est une matrice compagnon.

En dimension finie, un endomorphisme diagonalisable est cyclique si et seulement si ses valeurs propres sont simples (sont des racines simples du polynôme caractéristique.) Plus généralement, un endomorphisme est cyclique si et seulement si son polynôme minimal et son polynôme caractéristique sont égaux (au signe près).

Soient E un espace vectoriel, u un endomorphisme de E et ^tu l'endomorphisme transposé de l'espace dual E*. Un sous-espace F de E est stable par u si et seulement si son orthogonal F° dans E* est stable par ^tu. En particulier, un hyperplan de E est stable si et seulement s'il est le noyau d'une forme linéaire propre pour ^tu, ce qui revient à dire qu'il contient un sous-espace de la forme Im(u − λ Id). En dimension finie, ceci ne peut se produire que pour λ valeur propre.

Si E est un espace de Hilbert, on peut donner une variante : un sous-espace fermé F est stable par un opérateur borné u si et seulement si son orthogonal F^⊥ dans E est stable par l'opérateur adjoint u*, et un hyperplan fermé est stable par u si et seulement si sa normale est propre pour u*.

Si deux endomorphismes u et v commutent, alors le noyau et l'image de u sont stables par v^[2]. Plus généralement, le noyau et l'image de tout polynôme en u est stable par v (puisque cet endomorphisme commute alors aussi à v), en particulier^[2] tout sous-espace propre pour u est stable par v (puisque c'est le noyau d'un polynôme en u de degré 1), et de même pour les sous-espaces caractéristiques.

• Décomposition de Dunford
• Problème du sous-espace invariant (en)

• Portail des mathématiques