En mathématiques les représentations du groupe symétrique sont un exemple d'application de la théorie des représentations d'un groupe fini. L'analyse de ces représentations est une illustration des concepts comme le théorème de Maschke, les caractères, la représentation régulière, les représentations induites et la réciprocité de Frobenius.

L'histoire des représentations du groupe symétrique et du groupe alterné associés, joue un rôle particulier pour la théorie des caractères. Avril 1896 est le mois de naissance généralement considéré de cette théorie. Inspiré par une intense correspondance avec Dedekind qui avait calculé les représentations de S₃ et du groupe des quaternions^[1], Frobenius analyse les représentations des groupes S₄ et S₅ ^[2] et présente les fondements qu'il développe pendant les années à venir.

Si les méthodes sont différentes de celles maintenant utilisées – Frobenius adopte en effet comme outil essentiel l'idée de Dedekind des déterminants de groupes (en) tombés maintenant en désuétude – les bases de la théorie sont esquissées. Elle se développe rapidement ; Heinrich Maschke démontre le théorème portant maintenant son nom trois ans plus tard. En 1911, William Burnside publie la seconde édition du livre^[3] encore de référence contenant toutes les techniques utilisées dans cet article.

Les représentations d'un groupe fini G (sur un espace vectoriel complexe de dimension finie) possèdent une propriété simplifiant largement leur analyse, elles sont toutes sommes directes de représentations irréductibles. De plus, cette décomposition d'une représentation se « lit » sur son caractère, qui est l'application associant à tout élément de G la trace de son image par la représentation. En effet :

• le caractère d'une somme directe de représentations est la somme de leurs caractères ;
• tout caractère est une fonction centrale, c'est-à-dire une application (de G dans l'ensemble des nombres complexes) constante sur chaque classe de conjugaison ;
• pour le produit hermitien suivant, la famille des caractères irréductibles est une base orthonormale de l'espace de ces fonctions centrales :

${\displaystyle \langle \chi _{1}\mid \chi _{2}\rangle ={\frac {1}{|G|}}\sum _{s\in G}\chi _{1}(s).{\overline {\chi _{2}(s)}}.}$

En résumé :

• le degré d'une représentation (i.e la dimension de l'espace vectoriel dans lequel se fait cette représentation) est égal à la valeur en 1 de son caractère,
• tout caractère est constant sur chacune des classes de conjugaison,
• les caractères irréductibles sont ceux de norme 1,
• ils sont orthogonaux deux à deux,
• leur nombre est égal au nombre de classes de conjugaison.

Enfin, les représentations irréductibles sont toutes isomorphes à des représentations régulières du groupe symétrique dans un sous-espace de son algèbre.

Dans le cas particulier du groupe symétrique S_n, il existe plusieurs méthodes permettant de construire les représentations irréductibles. L'une d'elles associe de façon bijective chaque représentation irréductible à un tableau de Young de n éléments.

Un tableau de Young est obtenu en répartissant les entiers de 1 à n en lignes de longueur décroissante. On remplit ces lignes par les entiers de 1 à n, dans l'ordre. Cela revient à effectuer une partition de l'entier n, en notant sa décomposition sous forme décroissante. Ainsi, le tableau ci-contre correspond à une partition de l'entier 10 sous la forme 5 + 4 + 1. On le désignera sous la forme [ [1, 2, 3, 4, 5], [6, 7, 8, 9], [10] ]. Il correspond également au choix de la classe de conjugaison dans le groupe symétrique S₁₀ formée des permutations ayant pour longueur de cycle respectivement 5, 4 et 1. En effet, deux permutations sont conjuguées si et seulement si leurs cycles à supports disjoints ont même longueur.

Comme il y a autant de représentations irréductibles de S_n que de classes de conjugaison, et autant de classes de conjugaison que de tableaux de Young de longueur n, il y a autant de représentations irréductibles que de tableaux de Young. La correspondance se fait comme suit :

On se donne un tableau de Young de longueur n. On se place dans l'algèbre de groupe ${\displaystyle \mathbb {C} [S_{n}]}$ et l'on considère la représentation régulière de S_n qui, à toute permutation s associe l'endomorphisme ${\displaystyle a\in \mathbb {C} [S_{n}]\mapsto sa}$. On associe au tableau de Young :

• D'une part les permutations p laissant globalement invariantes les lignes du tableau
• D'autre part les permutations q laissant globalement invariantes les colonnes du tableau
• L'élément c de ${\displaystyle \mathbb {C} [S_{n}]}$ égal à ${\displaystyle \sum \epsilon (q)qp}$ où ${\displaystyle \epsilon (q)}$ désigne la signature de q.
• L'idéal à gauche M de ${\displaystyle \mathbb {C} [S_{n}]}$ engendré par c, autrement dit, le sous-module sur ${\displaystyle \mathbb {C} [S_{n}]}$ engendré par les sc, s décrivant S_n.

On montre alors que :

• M est irréductible pour la représentation régulière
• Il existe ${\displaystyle \mu }$ non nul que ${\displaystyle c^{2}=\mu c}$
• Le nombre ${\displaystyle d={\frac {n!}{\mu }}}$ est la dimension de M comme espace vectoriel sur ${\displaystyle \mathbb {C} }$
• L'élément ${\displaystyle e={\frac {1}{\mu ^{2}}}\sum _{t\in S_{n}}tct^{-1}}$ est l'idempotent engendrant l'idéal bilatère R contenant M. Cet idéal forme un espace vectoriel sur ${\displaystyle \mathbb {C} }$ de dimension ${\displaystyle d^{2}}$.
• Le caractère de la représentation est donné par ${\displaystyle \chi =\mu e}$

On montre enfin que les représentations irréductibles associées à des tableaux de Young différents ne sont pas équivalentes. On obtient donc ainsi toutes les représentations irréductibles du groupe symétrique S_n.

Pour tout entier n supérieur ou égal à 2, on dispose de quatre représentations irréductibles de S_n faciles à décrire :

Elle est associée au tableau de Young formé d'une seule ligne [ [1, 2, 3, ..., n] ]. Dans ce cas, :

• ${\displaystyle c=\sum _{p\in S_{n}}p}$
• ${\displaystyle c^{2}=n!c}$
• Pour tout s dans S_n, ${\displaystyle sc=c}$, donc le sous-module M engendré est de dimension 1 et chaque élément du groupe est représenté par l'application identique.

Elle est associée au tableau de Young formé d'une seule colonne [ [1], [2], [3], ..., [n] ]. Dans ce cas, :

• ${\displaystyle c=\sum _{q\in S_{n}}\epsilon q}$
• ${\displaystyle c^{2}=n!c}$
• Pour tout s dans S_n, ${\displaystyle sc=\epsilon (s)c}$, donc le sous-module M engendré est de dimension 1 et chaque élément du groupe est représenté par sa signature

Elle est associée au tableau de Young [ [1, 2, ..., n-1], [n] ]. On vérifie qu'il s'agit d'une représentation de degré n – 1, supplémentaire de t dans l'action naturelle ρ de S_n sur ${\displaystyle \mathbb {C} ^{n}}$. Plus précisément, en notant (e_i), pour i variant de 1 à n, la base canonique de ${\displaystyle \mathbb {C} ^{n}}$ :

• l'image ρ(s) d'une permutation s de S_n est l'automorphisme de ${\displaystyle \mathbb {C} ^{n}}$ qui envoie la base (e_i) sur la base (e_s(i)) ; sa matrice dans (e_i) est donc la matrice de la permutation et le caractère de ρ, appliqué à s, est le nombre de points fixes de s ;
• t apparaît comme une sous-représentation de ρ car le vecteur somme des e_i est fixe,
• φ₁ est la restriction de ρ à l'hyperplan supplémentaire stable constitué des vecteurs dont la somme des coordonnées est nulle ;
• l'irréductibilité de φ₁ se déduit du fait que son caractère est de norme 1, fait que nous vérifierons directement pour n = 4, mais qui se démontre de façon générale par 2-transitivité de S_n ou par un calcul explicite ;

L'image de S_n dans la représentation φ₁ peut se voir comme le groupe des isométries laissant globalement invariant un simplexe régulier dans un espace euclidien de dimension n, le groupe permutant les sommets de ce simplexe.

Il s'agit du produit de φ₁ par la signature σ, également de degré n–1. Elle est associée au tableau de Young [ [1, 2], [3], ..., [n] ]. D'une manière générale, lorsqu'une représentation irréductible est associée à un tableau de Young, le produit de cette représentation par la signature est la représentation irréductible associée au tableau de Young obtenu en inversant les rôles des lignes et des colonnes dans le tableau de Young initial.

Il existe trois tableaux de Young ayant 3 éléments, à savoir [ [1, 2, 3] ], [ [1, 2], [3] ] et [ [1], [2], [3] ]. Il existe donc trois représentations irréductibles du groupe S₃.

On peut dire aussi qu'il existe trois classes de conjugaisons, à savoir : 1 (l'identité), (ab) (transposition), (abc) (3-cycle).

Les quatre représentations ci-dessus épuisent la liste des trois représentations irréductibles de S₃, et φ₂ est nécessairement équivalente à φ₁.

Les deux représentations t (triviale) et σ (signature) sont de degré 1, donc le caractère est égal à la représentation ; l'image des trois classes ci-dessus est (1, 1, 1) pour t et (1, –1, 1) pour σ.

Le caractère de φ₁, appliqué à une permutation s, s'obtient en retranchant 1 au nombre de points fixes de s.

La table des caractères irréductibles de S₃ est donc :

On peut retrouver la représentation complexe φ₁ (par extension des scalaires) à partir de la représentation réelle qui réalise S₃ comme le groupe diédral D₃ des isométries du triangle équilatéral^[4],[5] : l'identité est de trace 2, les trois symétries axiales sont de trace nulle, et les deux rotations d'angles ±2π/3 ont pour trace –1.

La représentation irréductible φ₂, produit de φ₁ par la fonction scalaire σ, a pour caractère le produit par σ du caractère de φ₁. On peut donc vérifier sur cette table l'équivalence de φ₁ et φ₂.

On peut aussi vérifier que ces trois caractères forment bien une famille orthonormale (en particulier ils sont de norme 1, ce qui confirme leur irréductibilité), que les degrés des représentations associées sont des diviseurs de l'ordre du groupe, et que la représentation régulière, dont le caractère est (6, 0, 0), contient autant de copies d'une représentation irréductible donnée que le degré de cette représentation irréductible^[6] : (6, 0, 0)=(1, 1, 1)+(1, –1, 1)+2(2, 0, –1).

On remarque par ailleurs que toutes les valeurs de la table sont des entiers (donc tous les caractères du groupe sont à valeurs entières). C'est une propriété générale des groupes symétriques^[7].

Il existe cinq tableaux de Young de longueur 4, à savoir [ [1, 2, 3, 4] ], [ [1, 2, 3], [4] ], [ [1, 2], [3, 4] ], [ [1, 2], [3], [4] ] et [ [1], [2], [3], [4] ]. Il existe donc cinq représentations irréductibles du groupe S₄, dont quatre ont déjà été données plus haut. Il s'agit de la représentation triviale t, la représentation σ correspondant à la signature, les deux représentations φ₁ et φ₂, qui sont de degré 3, et la représentation θ associée au tableau de Young [ [1, 2], [3, 4] ] qui s'avère être de degré 2. Chaque représentation s'obtient à partir d'une autre par produit tensoriel avec la représentation correspondant à la signature. Par cette opération, θ redonne une représentation équivalente à elle-même.

φ₁ correspond aux isométries laissant invariant un tétraèdre, φ₂ correspond aux rotations linéaires laissant invariant un cube.

Dans le cas de S₄, la décomposition en cycles disjoints d'une permutation peut être de la forme : 1, (ab), (abc), (ab)(cd) (produit de deux transpositions disjointes) ou (abcd) (4-cycle). Les 24 éléments du groupe se répartissent donc en cinq classes de conjugaison, que nous prendrons toujours dans l'ordre arbitraire suivant :

Le calcul des caractères de t, σ, φ₁ et φ₂ (par la même méthode que pour S₃) donne ici : (1, 1, 1, 1, 1), (1, –1, 1, 1, –1), (3, 1, 0, –1, –1) et (3, –1, 0, –1, 1).

Les quatre représentations irréductibles déjà identifiées ont des caractères distincts, donc ne sont pas équivalentes. On complète cette famille orthonormale par l'unique fonction centrale de norme 1 qui leur est orthogonale et dont la valeur sur 1 est positive : (2, 0, –1, 2, 0). C'est le caractère de la cinquième représentation irréductible, θ, qui est par conséquent de degré 2. (Comme c'était prévisible, il est invariant par produit par σ.) Le tableau des caractères est finalement :

La décomposition du caractère de la représentation régulière (qui aurait d'ailleurs pu servir à calculer le caractère de θ) est ici :

On peut préciser^[8] et interpréter les trois représentations φ₁, φ₂ et θ. Le groupe symétrique est engendré par les transpositions, il n'est donc nécessaire de déterminer les représentations que pour celles-ci. De plus, on remarque que les transpositions (12), (23), (34) engendrent toutes les transpositions de S₄, donc le groupe entier. Dans les paragraphes qui suivent (sauf pour φ₂ où on choisira d'autres générateurs), les représentations ne sont exprimées que sur ces trois éléments. Leur valeur sur le reste du groupe s'en déduit par produits.

Considérons la représentation standard φ₁. Une base de l'hyperplan d'équation x₁ + x₂ + x₃ + x₄ = 0 est :

${\displaystyle u_{1}=e_{1}+e_{2}-e_{3}-e_{4},\quad u_{2}=e_{1}-e_{2}+e_{3}-e_{4},\quad u_{3}=e_{1}-e_{2}-e_{3}+e_{4}.}$

Dans cette base, φ₁ est décrite par :

${\displaystyle \varphi _{1}(12)={\begin{pmatrix}1&0&0\\0&0&-1\\0&-1&0\end{pmatrix}},\quad \varphi _{1}(23)={\begin{pmatrix}0&1&0\\1&0&0\\0&0&1\end{pmatrix}},\quad \varphi _{1}(34)={\begin{pmatrix}1&0&0\\0&0&1\\0&1&0\end{pmatrix}}.}$

Les images par φ₁ des permutations de S₄ sont alors les matrices orthogonales laissant globalement invariant le tétraèdre régulier de sommets M₁ = (–1,–1,–1), M₂ = (–1,1,1), M₃ = (1,–1,1) et M₄ = (1,1,–1), et permutant ces quatre sommets.

Les transpositions (ab) correspondent à des réflexions par rapport au plan médiateur du segment [a, b], les permutations (ab)(cd) à des demi-tours d'axe passant par les milieux de deux côtés opposés du tétraèdre, les permutations (abc) à des tiers de tour d'axe passant par le sommet invariant et le centre de la face opposée, et les permutations (abcd) aux composées d'un quart de tour d'axe passant par les milieux de deux côtés opposés et d'une réflexion par rapport au plan orthogonal à cet axe.

Pour obtenir la représentation φ₂, il suffit de multiplier la représentation matricielle de φ₁ par le caractère σ. On peut la décrire sur les générateurs suivants :

${\displaystyle \varphi _{2}(1324)={\begin{pmatrix}1&0&0\\0&0&-1\\0&1&0\end{pmatrix}},\quad \varphi _{2}(1234)={\begin{pmatrix}0&0&-1\\0&1&0\\1&0&0\end{pmatrix}},\quad \varphi _{2}(1342)={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}.}$

On reconnait trois rotations laissant invariant le cube, la première suivant l'axe des x, la deuxième suivant l'axe des y et la troisième suivant celui des z. La figure de gauche illustre l'interprétation géométrique de ces trois rotations : l'image de (1324) est celle représentée par la flèche rouge, celle de (1234) par la bleue et celle de (1342) par la verte.

Les rotations du cube permutent alors les quatre diagonales du cube ou, de manière équivalente, les quatre paires de sommets opposés. Les permutations (abcd) (les trois générateurs ci-dessus et leurs inverses) correspondent à des quarts de tour d'axes passant par les centres des faces, les permutations (ab)(cd), qui sont leurs carrés, à des demi-tours de mêmes axes, les transpositions (ab) à des demi-tours d'axes joignant les milieux de deux arêtes opposées, et les permutations (abc) à des tiers de tour d'axes joignant deux sommets opposés.

On peut également visualiser ce groupe de rotations comme celui du cuboctaèdre, puisque c'est le cube rectifié (en) : les milieux d'arêtes du cube deviennent les sommets du cuboctaèdre, les huit coins du cube sont coupés et remplacés par des faces triangulaires, et les rotations permutent alors les quatre paires de triangles opposés.

Vu son caractère, la représentation θ est de degré 2 et son noyau est inclus dans le sous-ensemble H formé de l'identité et des trois involutions de la forme (ab)(cd) (groupe de Klein). Cette inclusion est en fait une égalité, puisque dans le plan, la seule involution linéaire de trace 2 est l'identité. On en déduit que H est un sous-groupe normal de S₄ et que θ = θ₂∘s, où s : S₄ → S₄/H est la surjection canonique et θ₂ est une représentation du groupe quotient S₄/H. Or ce quotient est isomorphe à S₃ (on peut voir cet isomorphisme, par exemple, en réalisant S₄ comme le groupe des rotations du cube (voir supra) et en considérant son action sur les trois paires de faces opposées). Via cette identification, θ₂ est donc entièrement déterminée : c'est la représentation irréductible de degré 2 de S₃. Ceci détermine complètement θ :

${\displaystyle \theta _{(12)}=\theta _{(34)}={\begin{pmatrix}1&0\\0&-1\end{pmatrix}}\quad {\text{et}}\quad \theta _{(23)}={\begin{pmatrix}\cos {\frac {2\pi }{3}}&\sin {\frac {2\pi }{3}}\\\sin {\frac {2\pi }{3}}&-\cos {\frac {2\pi }{3}}\end{pmatrix}}.}$

Elle n'est pas fidèle et chaque isométrie du triangle possède quatre antécédents. La figure de droite illustre cette représentation. On a nommé les trois sommets du triangle au moyen des trois étiquettes 1×2 + 3×4, 2×3 + 1×4 et 1×3 + 2×4. Une permutation de S₄ agit directement sur les chiffres de chaque étiquette. Ainsi, la transposition (12) laisse le sommet 1×2 + 3×4 invariant mais permute les deux sommets 2×3 + 1×4 et 1×3 + 2×4. On pourra vérifier que l'action de cette transposition est identique à celle de la transposition (34) ou celle des permutations circulaires (1324) ou (1423). Une telle action du groupe S₄ est utilisée pour résoudre les équations du quatrième degré.

Il existe sept tableaux de Young de longueur 5. Il existe donc sept représentations irréductibles du groupe S₅. Outre la représentation triviale t, la représentation σ correspondant à la signature et les deux représentations φ₁ et φ₂, qui sont de degré 4, données plus haut, il existe deux représentations de degré 5 et une représentation de degré 6.

Dans S₅, les classes de conjugaison sont du type : 1, (ab), (ab)(cd), (abc), (abc)(de), (abcd) ou (abcde). Le nombre de permutations selon la classe de conjugaison est donnée par le tableau suivant :

On peut construire la table des caractères de S₅ à partir des représentations usuelles : le carré alterné de la représentation standard donne une représentation de degré 6 qu'on appelle θ qui est irréductible (on le vérifie en calculant la norme de son caractère), et on vérifie que le carré symétrique de la représentation standard contient une fois la représentation triviale et une fois la représentation standard, et que la troisième représentation qu'elle inclut est irréductible (on l'appelle ψ₁). On peut alors construire ψ₂ comme le produit de ψ₁ et de la signature. On trouve la table suivante :

• (en) Hermann Weyl, The Classical Groups (en), Princeton University Press, 1953, 2^e éd. (1^re éd. 1939) (lire en ligne)
• (en) William Fulton et Joe Harris, Representation Theory : A First Course [détail des éditions], p. 18-20, aperçu sur Google Livres

• Tableau de Young
• Groupes de revêtement des groupes alternés et symétriques (en)

• Portail des mathématiques