Vous lisez un « bon article » labellisé en 2008.

Ne doit pas être confondu avec présentation d'un groupe.

En mathématiques, un groupe est une structure algébrique qui consiste en un ensemble muni d'une unique loi de composition interne. Cette loi vérifie alors certaines propriétés : elle est associative, elle possède un élément neutre et tout élément admet un inverse. Un groupe fini est un groupe dont le nombre d'éléments est fini. La simplicité de la définition cache une structure dont la complexité peut devenir redoutable si l'ordre, c'est-à-dire le nombre d'éléments, du groupe grandit. Une représentation d'un groupe fini est une méthode pour étudier une telle structure. Elle revient à étudier le groupe comme un ensemble de symétries d'un espace euclidien. Par exemple, le groupe des permutations d'un ensemble à trois éléments se représente comme le groupe des applications linéaires du plan laissant globalement invariant un triangle équilatéral dont le centre est l'origine.

Une représentation se décompose en éléments simples, appelés représentations irréductibles et qui sont en nombre fini. Elles représentent les briques élémentaires qui permettent de construire toutes les représentations. La géométrie euclidienne joue un rôle dans cet univers. Une représentation quelconque se décompose en représentations irréductibles qui agissent sur des plus petits espaces tous orthogonaux les uns par rapport aux autres. Une manière d'étudier une représentation donnée est de considérer l'application qui, à un élément du groupe, associe la somme des coefficients diagonaux d'une matrice représentant l'application linéaire image. Cette application porte un nom, on parle du caractère de la représentation. Elle fait aussi partie d'un espace euclidien appelé l'espace des fonctions centrales. Une base orthonormée de cet espace est composée des caractères des représentations irréductibles et le calcul des coordonnées d'un caractère quelconque dans cette base permet d'obtenir la décomposition en éléments simples. Comme souvent en algèbre, l'étude est plus simple si l'espace vectoriel utilise comme nombres les imaginaires. Le produit scalaire dont il est question ici est alors défini sur les nombres complexes, on parle parfois de produit hermitien et de géométrie hermitienne.

Historiquement, cette théorie est apparue pour répondre à une question provenant de la théorie de Galois. L'étude des solutions d'une équation polynomiale amène à l'étude d'une représentation d'un groupe, dit de Galois. Dedekind, un mathématicien allemand de la deuxième moitié du XIX^e siècle, cherchait à factoriser le groupe de Galois d'une équation du quatrième degré, c'est-à-dire trouver un ensemble de ses sous-groupes normaux pouvant successivement le quotienter jusqu'à obtenir un groupe quotient n'ayant aucun sous-groupe normal (donc un groupe simple, par définition). Ces ensembles de sous-groupes normaux peuvent à leur tour être factorisés de la même façon, de telle sorte que l'on obtient un ensemble composé de sous-groupes normaux et simples, appelé liste des facteurs simples du groupe, qui est unique à chaque groupe, donc commun à toutes les factorisations d'au moins un groupe (mais il ne faut pas oublier que plusieurs groupes peuvent avoir les mêmes facteurs simples!)^{[réf. souhaitée]}. La tâche n'est pas si simple, car un tel groupe est représenté par 24 matrices de chacune 24² = 576 coefficients. N'y parvenant pas, il écrivit à Frobenius, qui comprit rapidement pourquoi les caractères sont la réponse à cette délicate question et comment résoudre la difficulté. Frobenius pressentit qu'il disposait là d'une approche fructueuse, ouvrant la voie à une vaste théorie, source de progrès en théorie des groupes.

Cette théorie offre de fait des outils puissants pour élucider la théorie des groupes finis, permettant par exemple de déterminer le caractère résoluble d'un groupe en fonction de son ordre. De manière moins anecdotique, la représentation des groupes finis est l'outil de base de la classification. L'apport algébrique ne s'arrête pas là. Les applications linéaires s'additionnent, ce qui permet de définir un anneau, si l'on considère l'espace vectoriel engendré par les images du groupe. Les outils de la représentation d'un groupe fini interviennent dans l'étude de la structure d'un anneau, comme l'illustre le théorème d'Artin-Wedderburn. Enfin, la théorie de Galois, à l'origine des travaux de Frobenius, n'est pas en reste. À travers la théorie des corps de classes ou celle, moins aboutie, du programme de Langlands, la représentation des groupes est au cœur de la recherche mathématique actuelle.

Le savoir purement mathématique associé à cette théorie est traité dans l'article « Théorie des représentations d'un groupe fini ».

La théorie des groupes trouve son origine dans l'étude du groupe des bijections d'un ensemble fini. Cette notion, appelée permutation date au moins du XVII^e siècle. Le japonais^[1] Kowa Seki (1642-1708) et l'allemand^[2] Leibniz (1646-1716) utilisent les permutations et la notion de signature pour définir un déterminant dans des espaces de dimension trois et quatre. Une utilisation plus systématique est l'œuvre de Lagrange^[3] et Vandermonde^[4] dans le cadre de l'équation polynomiale. En revanche, l'ensemble des permutations n'est, dans aucun des cas cités, considéré comme une structure disposant d'une loi interne.

L'aube du XIX^e siècle voit un apport de première importance pour ce qui deviendra la théorie des groupes finis. En 1801, Carl Friedrich Gauss utilise^[5] les groupes cycliques pour fonder l'arithmétique modulaire et résoudre l'équation cyclotomique d'indice un nombre premier de Fermat. Un ensemble fini muni d'une opération interne conférant une structure de groupe est enfin utilisée. La connaissance d'une telle structure devient indispensable pour tout mathématicien étudiant l'arithmétique. Cependant, tout au long de sa vie, Gauss ne verra pas l'intérêt d'une formalisation.

Évariste Galois (1811-1832), à la suite des travaux^[6] du mathématicien norvégien Niels Abel (1802-1829) permet la réalisation d'un bond fondateur de l'algèbre moderne. À travers la problématique de l'équation algébrique, il découvre^[7] non seulement la portée du champ applicatif de la structure, mais de plus, évoque un nouveau formalisme avec la notion de groupe abstrait. Ce n'est que quinze ans plus tard que la dimension de ses travaux est perçue par la communauté. La redécouverte^[8] par Joseph Liouville des écrits de Galois en 1846 place la théorie des groupes finis comme un sujet de premier plan. Augustin Cauchy publie vingt-cinq articles sur la question dont un sur son célèbre théorème^[9]. Arthur Cayley donne une première définition abstraite d'un groupe^[10]. Le domaine d'application s'étend, en 1877, Felix Klein remarque^[11] que le groupe des isométries laissant invariant l'icosaèdre est isomorphe au groupe de Galois d'une équation quintique, la géométrie algébrique naît et les groupes finis y jouent un rôle clé. La connaissance du sujet s'accroît, Ludwig Sylow énonce ses célèbres théorèmes^[12] en 1872 et Heinrich Weber donne la définition^[13] moderne d'un groupe en 1895.

Un outil essentiel aux représentations des groupes est celui du caractère. Il correspond, avec notre regard moderne, à la trace des différents automorphismes correspondant au groupe représenté. Une fois encore, le sujet n'est pas vierge au moment de la naissance de la théorie des représentations.

On peut citer le symbole de Legendre du siècle précédent pour l'explicitation de la loi de réciprocité quadratique, comme premier exemple de caractère avant la lettre. Gustav Dirichlet utilise pour la première fois le terme de caractère^[14] pour une fonction multiplicative, proche du symbole précédent.

Richard Dedekind transporte les idées associées aux groupes finis. Il définit formellement la notion de caractère d'un groupe abélien fini comme un morphisme de ce groupe dans celui des nombres complexes non nuls^[15]. Les caractères sont parfaitement connus ainsi que leurs relations d'orthogonalité, mais uniquement dans le contexte commutatif.

Enfin, l'idée de groupe fini d'automorphismes n'est pas non plus inconnue. Camille Jordan, en 1870, étudie les groupes de Galois^[16] comme un groupe de matrices qu'il appelle le groupe linéaire. Il étudie le cas sur les corps finis premiers, c’est-à-dire de cardinal un nombre premier et traite le cas de la factorisation d'un unique automorphisme. Felix Klein, depuis son célèbre programme d'Erlangen est aussi un familier du concept. Leopold Kronecker et Richard Dedekind développent les prémisses de la théorie des anneaux et des corps^[17]. Le groupe de Galois n'est défini qu'à partir d'automorphismes et non plus comme un groupe de permutations de racines.

Si l'idée d'une incarnation d'un groupe fini comme une famille d'automorphismes est parfaitement comprise à la fin du siècle, elle se heurte à une difficulté réelle. Par exemple, pour une équation du quatrième degré, le groupe comprend déjà 24 éléments, correspondant chacun à une matrice 24×24. Dedekind développe la méthode des déterminants de groupes^[18]. S'il réussit à factoriser^{[précision nécessaire]} le groupe symétrique d'indice trois, il est dans une impasse pour le cas général.

En 1896, la théorie des groupes finis, ainsi que les outils nécessaires à l'élaboration de la théorie des représentations sont largement développés. Cependant, la taille ainsi que la complexité calculatoire représentent une barrière que Dedekind ne voit pas comment franchir. Il envoie à Ferdinand Georg Frobenius deux lettres à ce sujet^[19], les 25 mars et 6 avril 1896. Le destinataire n'est pas un novice. Il a, par exemple, démontré les théorèmes de Sylow dans le cas des groupes abstraits^[20] et reformulé abstraitement, avec Ludwig Stickelberger, le théorème de Kronecker sur la structure des groupes abéliens finis^[21].

Peu de théories possèdent une date de naissance précise. Les groupes apparaissent par exemple petit à petit, depuis Lagrange jusqu’à la définition exacte de Weber, l'évolution est lente et continue. La théorie des représentations est une exception, les historiens associent systématiquement sa naissance au mois d'avril^[22] 1896.

Frobenius répond à Dedekind par trois missives^[23] datées des 12, 17 et 26 du mois. Il parvient à factoriser les groupes symétriques d'indice 4 et 5^{[précision nécessaire]} ainsi que leurs sous-groupes alternés et le groupe simple d'ordre 168. Il comprend que son approche est à la base d'une vaste théorie et rédige rapidement les traités fondateurs.

Le 16 juillet, il publie un premier article^[24]. On peut y lire « je développerai ici le concept (de caractère pour un groupe fini quelconque) avec la croyance que, à travers cette introduction, la théorie des groupes sera substantiellement enrichie ». Les caractères ne se limitent plus au cas abélien, voilà la première clé de son succès.

Cette généralisation permet une factorisation de déterminant de groupe, ce qui amène une deuxième publication^[25]. Enfin, l'existence d'un produit hermitien naturel pour lequel les caractères irréductibles forment une base orthonormale fournit le sujet d'un troisième article^[26]. Tous ces résultats sont publiés la même année.

À la fin de l'année 1896, beaucoup reste à faire. La notion de représentation n'est pas apparente, l'objet d'étude reste le déterminant de groupe. La notion d'irréductibilité n'est pas là, aucune technique d'extension ne permet d'analyser un groupe à partir de ses sous-groupes, le rapport entre la représentation et l'arithmétique n'est pas établi et seul le cas des nombres complexes est étudié. Cependant, la généralisation des caractères a permis un saut important et laisse présager la naissance d'une théorie aux conséquences riches.

L'idée fondatrice est fertile, les différentes questions associées à la théorie trouvent des réponses rapides et Frobenius reste un acteur majeur. Il publie jusqu'à la fin de sa vie vingt articles sur la théorie des groupes finis^[27], essentiellement sur le sujet des représentations. En 1897, les notions de représentation et d'irréductibilité apparaissent^[28] même si de nombreuses évolutions seront encore nécessaires pour que les caractères prennent notre définition moderne, à savoir la trace d'une représentation. L'enrichissement de la structure, à travers l'ancêtre de notion d'algèbre de groupe est aussi présente dans cet article, dans le cas des nombres complexes ou hyper-complexes. Frobenius l'emprunte aux travaux du mathématicien Theodor Molien (de) qui a, de manière totalement indépendante^[29],[30] travaillé sur le caractère semi-simple de l'algèbre associée. Si Frobenius reconnaît l'importance de ses travaux, Molien reste essentiellement dans l'obscurité. L'année suivante, Frobenius découvre une première méthode d'extension^[31] correspondant à notre représentation induite, il établit la remarquable formule de réciprocité qui porte maintenant son nom. En 1899, il établit^[32] les formules du produit tensoriel de caractères alors que la notion de produit tensoriel n'est pas encore formalisée, il parle de composition. En 1900, le mathématicien détermine^[33] les caractères des groupes symétriques et l'année suivante ceux des groupes alternés^[34].

Au début de XX^e siècle, les travaux de Frobenius assurent à la théorie une base solide, les caractères sont généralisés aux groupes non abéliens, les théorèmes d'orthogonalité sont présents, et les techniques d'extension soit par produit tensoriel soit par induction sont comprises. Un regard rétrospectif y voit néanmoins encore trois lacunes. La théorie garde les traces de son origine, les déterminants de groupes forment toujours la structure fondamentale. L'aspect lourd et calculatoire reste inévitable. Les seuls corps véritablement étudiés sont de caractéristique nulle, évacuant ainsi un pan qui apparaît maintenant comme essentiel. Enfin, la dimension arithmétique est quasiment absente. Si le troisième point est juste esquissé et doit attendre les années 1920 avec les travaux d'Emil Artin pour prendre son essor, les deux autres sont largement traités dans la période de temps du paragraphe. Cependant, les contributions majeures sur ces domaines sont le fruit d'autres mathématiciens.

Une jeune école mathématique, l'école américaine, influence la théorie naissante. Durant cette époque, l'université de Chicago est à la pointe de la recherche sur le nouveau continent. R. C. Archibald écrit : « Durant la période 1892-1908, l'université de Chicago est insurpassable aux États-Unis comme institution pour l'étude des mathématiques avancées^[35]. » La théorie est étudiée à partir d'un autre angle, Leonard Eugene Dickson écrit en 1896 sa thèse de doctorat à l'université de Chicago à propos des groupes linéaires sur des corps finis quelconques, généralisant les résultats de Jordan. Il démontre que tout corps fini commutatif est une extension de Galois d'un corps premier. Elle est publiée^[36] en Europe en 1901. Heinrich Maschke, un élève de Klein, rejoint l'université de Chicago en 1892 ; il démontre son théorème^[37] qui stipule que toute représentation est somme directe de représentations irréductibles. En suivant l'esprit de l'école de Chicago, la démonstration est aussi donnée pour les corps finis (avec une inévitable condition sur l'ordre du groupe). Le mathématicien allemand Alfred Loewy avait, sans preuve, publié ce résultat deux ans auparavant en 1896. Enfin, Joseph Wedderburn rejoint l'université de Chicago durant les années 1904-1905 et travaille avec Dickson sur les structures d'algèbres semi-simples, dont un exemple important est donné par les algèbres de groupes finis. C'est cependant en 1907 à Édimbourg qu'il publie son article^[38] peut-être le plus célèbre, classifiant toutes les algèbres semi-simples et finalisant les travaux de Molien et Frobenius. L'apport de Chicago peut se résumer en deux points essentiels pour la théorie des représentations : l'approche par les déterminants de groupes tombe en désuétude au profit de la notion de représentation, simplifiant les calculs et la théorie est étudiée sur les corps de caractéristiques quelconques.

Une autre figure de la théorie de la représentation est essentielle pour la simplification des démonstrations et l'enrichissement de la théorie. Issai Schur est un élève de Frobenius. En 1901, il soutient sa thèse^[39] sur les représentations rationnelles d'un groupe fini sur un espace vectoriel complexe.

Il travaille sur le sujet entre les années 1904 et 1907 et utilise le lemme à son nom. Si quelques lignes suffisent à sa démonstration, il simplifie considérablement bon nombre de preuves, particulièrement sur les caractères et leur orthogonalité.

La thèse de Schur apporte, durant cette période une autre contribution majeure. L'analyse de l'aspect rationnel des représentations permet l'introduction des outils de l'arithmétique dans la théorie. Cet enrichissement est à l'origine de nombreuses démonstrations, on peut citer par exemple le fait que toute représentation irréductible possède un degré qui divise l'ordre du groupe (cf. « Algèbre d'un groupe fini »).

William Burnside, après Frobenius, est généralement considéré comme le deuxième fondateur^[40] de la théorie des représentations. Son intérêt pour les groupes finis est antérieur aux travaux de Frobenius. Il est l'auteur d'un article^[41] de 1895 démontrant que tout groupe fini possédant un 2-groupe maximal cyclique n'est pas simple.

Il comprend immédiatement l'apport de la théorie des représentations. Sa démarche est néanmoins différente de celle de Frobenius ou de Schur. Sur la cinquantaine^[42] d'articles publiés sur la théorie des groupes, l'essentiel de son travail consiste à utiliser les résultats de la théorie pour établir les fondements d'une classification des groupes finis.

Il ouvre des conjectures comme le problème de Burnside de 1902 sur les groupes de type fini et d'exposant fini^[43] et utilise les représentations pour défricher cette question^[44]. Cette conjecture, malgré de nombreux travaux, comme ceux^[45] d'Efim Zelmanov qui lui apporte une médaille Fields en 1994, reste encore essentiellement ouverte en 2006.

Ses travaux^[46] de 1905 l'amènent à étudier le cardinal d'un groupe résoluble. Il utilise, pour la démonstration d'un de ses théorèmes, l'un des théorèmes de Sylow et de nombreuses facettes de la théorie des représentations, comme les caractères de Frobenius ou l'arithmétique de Schur. Une fois encore, il donne un début de réponse à une grande question, largement étudiée au XX^e siècle. Elle est finalement tranchée par John Thompson qui reçoit en 1970 une médaille Fields pour son article^[47] écrit en commun avec Walter Feit et qui démontre que tout groupe d'ordre impair est résoluble.

Burnside écrit un livre de référence^[46] sur la théorie des groupes. La seconde édition, datant de 1911 est toujours d'actualité.

La première question associée à la théorie est la recherche d'un ensemble d'applications linéaires inversibles, que l'on associe aux éléments d'un groupe fini G. Dans cet exemple G est le groupe des permutations d'un ensemble à trois éléments noté S₃. L'association φ entre les éléments du groupe et les applications linéaires doit respecter la loi du groupe. Si g et h sont deux éléments du groupe, l'application linéaire associée à g.h doit être la composition des applications associées à g et à h :

${\displaystyle \forall g,h\in G\quad \varphi (gh)=\varphi (g)\varphi (h).}$

On parle d'un morphisme de groupes. L'exemple le plus simple est l'application qui, à n'importe quel élément, associe l'application linéaire identité. Cette application est manifestement une représentation, mais elle n'a que peu d'intérêt, on parle de représentation triviale. Un deuxième exemple consiste à envoyer un élément de S₃ sur –1 si la permutation est une transposition et sur 1 sinon : cette représentation porte le nom de signature. L'espace vectoriel est encore de dimension 1.

Le troisième cas est illustré sur la figure de droite. L'espace vectoriel est de dimension 2 et équipé d'un produit scalaire. On considère trois vecteurs i, j et k, de norme 1, et faisant chacun un angle de 2π/3 avec les deux autres. Le groupe S₃ opère sur ces trois vecteurs, c'est-à-dire qu'une permutation g du groupe peut s'appliquer à l'ensemble de ces trois vecteurs, ce qui définit une application de l'ensemble {i, j, k} dans lui-même. Il existe une unique manière de prolonger ces applications en applications linéaires de E et toutes ses applications linéaires sont inversibles. On a ainsi défini une troisième représentation. À la différence des deux autres, celle-ci est fidèle, c'est-à-dire qu'à deux éléments de G distincts on associe deux applications linéaires différentes. En un sens, le groupe formé par les applications linéaires est une copie de S₃, on parle alors d'isomorphisme de groupes.

On remarque que chacune de ces représentations envoie les éléments du groupe sur des isométries, c'est-à-dire des applications linéaires qui conservent les distances et les angles. On peut montrer que pour toute représentation, il est possible de munir l'espace vectoriel sous-jacent d'un produit scalaire invariant par le groupe.

Une quatrième représentation est importante car la technique utilisée est applicable à tous les groupes finis et à n'importe quel corps. On note {a_i} pour i variant de 1 à 6, les différents éléments de S₃ et l'on considère ces éléments comme une base d'un espace vectoriel de dimension 6. On définit φ(a_i) comme l'application linéaire qui à la base (a₁,..., a₆) associe la base (a_i.a₁,...,a_i.a₆). L'image d'une base par φ(a_i) étant une base, cette application linéaire est donc un automorphisme de l'espace vectoriel. Cette représentation est la représentation régulière du groupe. Elle est un peu plus complexe, l'espace vectoriel est ici de dimension 6, il faut donc des matrices 6 × 6 pour la représenter. Il est utile de la factoriser, c'est-à-dire de trouver des sous-espaces vectoriels stables par toutes les applications linéaires de la représentation et dont la somme directe soit égale à l'espace entier. Sur chacun des sous-espaces, la représentation est plus petite, donc plus simple. Lorsque le corps de base est ℂ, on trouve de fait une décomposition en quatre sous-espaces, deux de dimension 1 et deux de dimension 2. Sur ceux de dimension 1, on trouve une fois la représentation triviale et une fois la signature. Sur ceux de dimension 2, on trouve chaque fois, à un isomorphisme près, la représentation de dimension 2 déjà évoquée dans ce paragraphe.

Ce cas particulier est relativement simple, il fut résolu avant l'apparition de la théorie des représentations par une approche calculatoire. Des démonstrations modernes et non calculatoires sont présentes dans l'article associé.

L'origine des représentations provient de la théorie de Galois. Un objet caractéristique de cette théorie est un polynôme, qui, pour rester simple, est choisi ici à coefficients dans les nombres rationnels, par exemple P(X) = X⁴ + X + 1. L'axe d'analyse de la théorie de Galois est celui de l'étude du plus petit corps K contenant toutes les racines de P(X), il est appelé corps de décomposition et peut être considéré comme un sous-corps de ℂ, l'ensemble des nombres complexes. Connaître la structure de ce corps revient à connaître celle de son groupe des automorphismes, encore appelé groupe de Galois. Il correspond à l'ensemble des bijections de K, qui respectent à la fois les additions et les multiplications. C'est toujours un groupe fini.

Ces résultats ne terminent pas la question, la détermination du groupe de Galois est une question souvent difficile. Une manière de l'appréhender est de considérer K comme un espace vectoriel sur le corps des nombres rationnels, chaque élément du groupe apparaît alors comme un ensemble de matrices et ce groupe de matrices est une copie du groupe de Galois. Cette direction de recherche débouche immédiatement sur une complexité calculatoire nécessitant des outils théoriques pour aboutir à des théorèmes. Cette difficulté est illustrée par l'exemple du polynôme P(X). Le groupe de Galois est représenté par 24 matrices 24x24, ce qui fait beaucoup de coefficients à manipuler pour un groupe qui s'avère être S₄, le groupe des permutations d'un ensemble à quatre éléments.

La bonne technique consiste encore en une factorisation, c'est-à-dire la recherche d'une décomposition de l'espace de dimension 24 en une somme directe de plus petits sous-espaces vectoriels qui soient stables par chaque application linéaire du groupe. Dans un premier temps, on cherche les représentations non factorisables, c'est-à-dire qui ne contiennent aucun sous-espace vectoriel stable par toutes les applications linéaires du groupe, on les appelle des représentations irréductibles. Elles sont des facteurs potentiels dans la décomposition de la grosse représentation de dimension 24, on démontre que chaque facteur irréductible est représenté autant de fois que la dimension de son espace vectoriel, dans la grosse représentation.

Il existe 5 représentations irréductibles, finalement pas si difficiles à expliciter. Les deux premières sont la représentation triviale et la signature, chacune de dimension 1. Pour trouver la troisième, il suffit de remarquer que S₄ possède un sous-groupe distingué copie du groupe de Klein. Le quotient des deux groupes est égal à S₃. Il existe une représentation de dimension 2, qui à chaque élément de S₄, associe la représentation de sa classe si cet élément est quotienté par le groupe de Klein. Cette représentation correspond à celle de S₃ déterminée au paragraphe précédent.

La quatrième s'obtient en considérant un espace de dimension 4 ayant une base orthonormale (e_i) pour i variant de 1 à 4. On associe à g, un élément de S₄, l'application qui à la base associe la même base, mais cette fois permutée par g. Cette application se prolonge en une isométrie. Ce n'est pas encore la bonne représentation car elle contient une copie de la représentation triviale, mais l'orthogonal du sous-espace vectoriel de la représentation triviale est celle recherchée. Elle correspond au groupe des rotations du cube, illustré à droite. La dernière est simplement le produit de cette représentation et de la signature.

Une représentation d'un groupe G d'ordre fini est la donnée (V, ρ) d'un espace vectoriel de dimension finie et d'un morphisme ρ de G dans l'ensemble GL(V) des automorphismes de V. On obtient les propriétés suivantes :

${\displaystyle \forall s,t\in G\quad \rho (s)\circ \rho (t)=\rho (st)\quad et\quad \rho (1)=Id_{V}}$

Comme le montrent les exemples précédents, une représentation peut apparaître de manière complexe. Le premier objectif est de la réduire par la recherche de sous-représentations. Une sous-représentation est la donnée d'un sous-espace vectoriel de V stable par chaque image de ρ. Si un tel sous-espace n'existe pas (à part l'espace vectoriel nul et l'espace entier V) on parle de représentation irréductible.

Un résultat important, le théorème de Maschke, est que, si la caractéristique du corps ne divise pas l'ordre du groupe G, alors l'espace V est somme directe de sous-espaces irréductibles. La situation décrite dans les deux exemples n'est pas une exception.

Cette situation est différente, par exemple, de celle de la réduction d'endomorphisme. En dimension 2, un endomorphisme nilpotent d'ordre deux possède un noyau, qui comme tout noyau est stable par l'endomorphisme. Cependant il n'existe pas de supplémentaire stable, car tout supplémentaire est envoyé par l'endomorphisme sur le noyau.

Il n'existe qu'un nombre fini de représentations irréductibles pour un groupe fini donné, à un isomorphisme près. Les représentations isomorphes sont en général identifiées dans la théorie. Un isomorphisme τ entre deux représentations (V, ρ) et (V' , ρ') est un isomorphisme d'espaces vectoriels de V dans V' tel que :

${\displaystyle \forall s\in G\quad \rho '_{s}=\tau ^{-1}\circ \rho _{s}\circ \tau \;}$

La logique suivie dans les exemples est celle de la théorie. Dans un premier temps, les représentations irréductibles sont déterminées. Une méthode simple permet de connaître le nombre de représentations irréductibles distinctes pour un groupe donné. Ensuite, pour une représentation donnée, une analyse permet de savoir quelles représentations irréductibles elle contient.

Un des deux piliers de la théorie est celui des caractères des représentations. Le caractère d'une représentation (V, ρ) est la fonction qui à un élément s associe la trace de ρ_s. Un caractère irréductible est le caractère d'une représentation irréductible. Si le corps de l'espace V est de caractéristique première avec g l'ordre du groupe et si le polynôme X^g - 1 est scindé dans le corps, alors les caractères possèdent des propriétés remarquables.

Ce sont des fonctions centrales c’est-à-dire qu'elles sont constantes sur les classes de conjugaison du groupe. De plus, le lemme de Schur permet de démontrer que les caractères irréductibles forment une base orthonormale de l'espace des fonctions centrales.

Ces propriétés permettent simplement de factoriser l'exemple donné sur S₃. L'espace des fonctions centrales est de dimension trois car il existe trois classes de conjugaison différentes. Si φ et ψ sont deux fonctions centrales, c la classe des cycles d'ordre trois et t la classe des transpositions, alors si ${\displaystyle \scriptstyle {\overline {a}}}$ désigne le conjugué du complexe a, le produit hermitien (l'équivalent du produit scalaire pour les espaces vectoriels complexes) est donné par la formule :

${\displaystyle <\varphi \,|\,\psi >={\frac {1}{6}}{\Big (}\varphi (1){\overline {\psi (1)}}+3.\varphi (t){\overline {\psi (t)}}+2.\varphi (c).{\overline {\psi (c)}}{\Big )}}$

La norme de chacune des trois représentations t, σ et θ est bien égale à un et ils sont orthogonaux deux à deux, ce qui montre qu'ils forment la base des représentations et sont bien les trois représentations irréductibles. Il suffit de calculer le produit hermitien de la représentation de Galois pour déterminer sa factorisation.

La figure de droite illustre le groupe S₃. Les caractères représentés par des boules orange sont les trois irréductibles, la boule bleue représente le caractère de la représentation de Galois. Elle est combinaison linaire des trois caractères irréductibles avec les coefficient un pour la triviale, un pour la signature et deux pour celle des isométries du triangle.

Le deuxième pilier est constitué par l'algèbre du groupe, en général notée K[G]. Le groupe est linéarisé, c’est-à-dire qu'il est identifié à une base d'un K espace vectoriel. Le prolongement de la représentation à la structure forme une algèbre sur un corps :

${\displaystyle \forall (a_{s})_{s\in G}\,,\,(b_{t})_{t\in G}\in K^{G}\quad (\sum _{s\in G}a_{s}.s)(\sum _{t\in G}b_{t}.t)=\sum _{s\in G}\sum _{t\in G}a_{s}b_{t}.st}$

La structure est doublée d'une autre, celle de G-module sur l'anneau K[G]. Elle correspond au prolongement d'une représentation à l'algèbre K[G].^[pas clair]

Si la caractéristique de K de divise pas l'ordre de G, cette algèbre est semi-simple. Une théorie algébrique entière, riche en théorèmes, permet alors d'élucider d'autres aspects de la structure. Le plus important est probablement celui d'Artin-Wedderburn. Il indique, dans ce contexte, que l'algèbre est le produit direct d'une famille finie de sous-algèbres, dont chacune est une algèbre de matrices carrées sur un corps (non nécessairement commutatif) contenant K.

Un exemple est celui du centre de K[G]. C'est un anneau semi-simple correspondant à un produit de la forme K^h où h est le nombre de sous-algèbres simples. Le centre s'avère être isomorphe aux fonctions centrales du paragraphe précédent. L'isomorphisme est suffisamment naturel pour que les deux structures soit souvent identifiées. Les propriétés d'orthonormalité s'expriment de manières différentes, sources de nombreux théorèmes comme la loi de réciprocité de Frobenius.

Un tel centre ouvre des perspectives nouvelles, c'est un anneau commutatif sur un corps K, il est donc possible d'utiliser les outils de l'arithmétique. Une démarche de cette nature permet par exemple de démontrer que le degré de toute représentation irréductible divise l'ordre du groupe.

Si la caractéristique de K divise l'ordre de G, l'algèbre K[G] apporte encore des outils essentiels. La théorie des anneaux, et plus particulièrement celle des idéaux, permet d'élucider la structure.^{[réf. souhaitée]}

La théorie de Galois, peut se voir comme l'étude des relations algébriques qui lient les différents éléments d'un corps commutatif, c'est-à-dire un ensemble muni d'une addition et d'une multiplication tel que tout élément non nul est inversible et tel que les deux opérations soient commutatives. La théorie dite classique s'intéresse aux corps pas trop gros, qui se représentent comme un espace vectoriel de dimension finie sur un corps initial. Un exemple simple est donnée par les nombres de la forme a + bi, où a et b sont deux rationnels et i l'unité imaginaire. On parle d'extension quadratique, l'exemple précédent est celui des rationnels de Gauss. L'un des succès originaux de la théorie est d'indiquer quand une équation polynomiale est résoluble par radicaux, c'est-à-dire quand il est possible d'exprimer la racine d'un polynôme à l'aide des quatre opérations et de l'opération racine.

Un résultat clé de la théorie stipule que la structure d'un corps L est décrite par la correspondance de Galois. Elle porte sur un groupe particulier, dit de Galois, celui des bijections de K dans K qui respectent les deux opérations du corps. Le groupe de Galois des rationnels de Gauss comporte deux éléments, l'identité et l'application conjuguée. Si les rationnels de Gauss sont vus comme un espace vectoriel de dimension 2, de base (1, i), le groupe de Galois peut être vu comme une représentation d'un groupe à deux éléments. Pour plus de simplicité, on peut incarner le groupe de Galois par des matrices, puis considérer ces matrices à coefficients dans les rationnels, comme celles d'applications linéaires sur un espace vectoriel complexe, ce qui est beaucoup plus simple à étudier.

Disposer d'une théorie comme celle de la représentation d'un groupe fini pour étudier le groupe de Galois s'avère rapidement indispensable. On peut citer comme exemple celui du théorème d'Abel sur la possibilité de résoudre une équation polynomiale par radical. Sous sa forme galoisienne, ce résultat s'exprime par le fait que l'équation est résoluble si et seulement si le groupe de Galois possède une propriété particulière. On dit alors que le groupe est résoluble. Le théorème de Burnside sur cette question, décrit dans paragraphe précédent est ainsi typiquement galoisien.

L'usage des représentations et des caractères des groupes abéliens finis, fait son apparition en arithmétique bien avant les travaux de Frobenius. Un important théorème, dit de la progression arithmétique, démontré^[48] par Dirichlet utilise des caractères de cette nature^[49].

Le cas non abélien, au cœur de la théorie présentée dans cet article, n'est pas en reste. La structure étudiée par la théorie algébrique des nombres est très liée à la théorie de Galois. Une manière simple de voir cette structure est de ne considérer que les entiers algébriques d'un corps de la même nature que ceux du paragraphe précédent. Un entier algébrique est un élément de ce corps racine d'un polynôme unitaire (c'est-à-dire dont le coefficient du monôme de plus haut degré est égal à 1) et à coefficients dans les entiers relatifs. Les entiers algébriques des nombres rationnels sont les entiers relatifs, ceux des rationnels de Gauss sont les nombres de la forme a + ib, où cette fois a et b sont des entiers relatifs.

Une fois encore le groupe des bijections respectant l'addition et la multiplication, on parle d'automorphisme d'anneau, s'avère essentiel. On parle toujours de groupe de Galois. Une démarche de la même nature que celle du paragraphe précédent permet d'associer à ce groupe, une représentation naturelle. Cette représentation est importante pour comprendre les idéaux d'un anneau d'entiers algébriques. Les idéaux sont un être mathématique découvert par Ernst Kummer pour résoudre le dernier théorème de Fermat dans de nombreux cas. Si les anneaux d'entiers algébriques ressemblent, à beaucoup d'égards, aux entiers relatifs, le théorème fondamental de l'arithmétique stipulant l'existence et une forme d'unicité d'une décomposition en facteurs premiers ne s'applique plus. Ce que Kummer appelait des « nombres idéaux (en) » est une manière^[50] de pallier cette lacune, les idéaux premiers remplaçant les nombres premiers (cf. « Idéal fractionnaire »).

Bien comprendre la manière dont se structurent les idéaux est un facteur déterminant pour résoudre des problèmes d'arithmétique. Le groupe de Galois est important car l'image d'un idéal par un élément du groupe est encore un idéal. D'une certaine manière, la structure du groupe se reporte sur des classes d'idéaux. Un exemple d'usage est l'équation de Pell-Fermat. Si elle semble simple, sa résolution s'avère redoutable. Elle correspond à l'équation diophantienne suivante :

${\displaystyle x^{2}-ny^{2}=m}$.

Une équation diophantienne est une équation à coefficients entiers dont les solutions recherchées sont entières. Ici n est un entier non carré et m un entier non nul. Dans le cas général, cette équation est résolue^[51] par David Hilbert à l'aide d'une première ébauche de la théorie des corps de classes. La connaissance du groupe de Galois, souvent obtenue par l'étude de la représentation naturelle, est le nœud de la démonstration. La recherche arithmétique actuelle fait toujours grand usage des représentations d'un groupe fini. Un exemple archétypal est un prolongement de la théorie des corps de classes dans le cas non commutatif. Il porte le nom de programme de Langlands. Une fois encore les représentations sont indispensables^[52].

La théorie de Galois, à travers les corps de solutions d'une équation algébrique ou son anneau des entiers algébriques, est capable de fournir de nombreux exemples d'ensembles munis d'une addition et d'une multiplication. Ces structures ont toutes un élément commun, la multiplication est commutative.

Les mathématiques, comme les sciences de la nature, mettent en évidence des cas où la multiplication n'est pas commutative. Beaucoup d'ensembles de matrices, sont naturellement munis de ces deux opérations et disposent d'une multiplication qui ne l'est pas. William Hamilton passe dix ans de sa vie^[53] pour trouver un ensemble de cette nature capable de formaliser plus simplement la mécanique newtonienne. Il découvre à cette occasion le premier corps gauche, c'est-à-dire un ensemble tel que tous les éléments non nuls sont inversibles, mais qui n'est pas commutatif appelé quaternion.

L'exemple des corps est significatif de l'apport de la représentation des groupes finis dans cette branche des mathématiques. On peut remarquer dans un premier temps que tout corps gauche L est une algèbre sur son centre, qui est un sous-corps commutatif ; par exemple le corps des quaternions est une algèbre sur le corps des réels. Cette méthode permet de voir L comme une conséquence d'une représentation de G. Une approche analogue est utilisée pour construire les quaternions dans le § « Représentation » de l'article sur le groupe des quaternions.^[pas clair]

D'une manière plus générale, considérer une représentation comme une algèbre d'un groupe fini est une méthode puissante pour étudier une famille d'anneaux dits semi-simples et contenant de nombreux représentants non commutatifs. Le théorème central de cette théorie porte le nom d'Artin-Wedderburn^[54].

Un réseau est un groupe discret de Rⁿ, générateur de l'espace vectoriel. Une question qui se pose est celle du groupe orthogonal, c'est-à-dire l'ensemble des isométries linéaires, d'une telle structure. On montre assez simplement qu'un tel groupe est fini et dans le cas de la dimension 2, les outils élémentaires de la théorie des groupes et de l'algèbre linéaire permet d'élucider cette question. En revanche, quand la dimension augmente les outils associés à la représentation d'un groupe fini, particulièrement les caractères, s'avèrent indispensables.

Le cas de la dimension 3 intéresse particulièrement les cristallographes. Un cristal se modélise par un réseau, auquel cette science donne le nom de Bravais^[55]. Cette géométrie est à l'origine de propriétés mécaniques, optiques ou encore électriques. À travers les tables de caractères, il est possible de déterminer le groupe orthogonal, qui, dans ce contexte, prend le nom de groupe de symétrie ou groupe ponctuel.

Une question analogue, aussi en dimension 3, se traite aisément avec les outils des représentations d'un groupe fini, celui des solides de Platon. Ils correspondent aux polyèdres réguliers convexes d'un espace de dimension 3. L'analyse de groupes admettant une représentation irréductible de dimension 3 permet d'établir l'existence et les caractéristiques des différents solides de Platon. Les exemples du tétraèdre, du dodécaèdre et de l'icosaèdre sont traités dans l'article groupe alterné.

Les dimensions plus élevées sont l'objet d'études de la part des cryptologues. Si la dimension augmente, la recherche du plus petit vecteur non nul est un problème conjecturé comme difficile. Difficile prend ici un sens très précis. Il ne signifie pas que personne ne sait le résoudre, mais que les seules méthodes accessibles, avec la vitesse actuelle (2008) des ordinateurs, demande beaucoup de temps, typiquement un temps supérieur à l'âge de l'univers^[56]. Un des codes assurant une des meilleures sécurité^[57] est fondé sur la géométrie d'un réseau de cette nature, il porte le nom de NTRU.

La théorie des représentations est l'un des outils essentiels pour la classification des groupes. Pour les groupes d'ordre petit, les théorèmes de Sylow suffisent en général. En revanche, cette approche est trop limitée pour une étude générale. Les théorèmes de Burnside, sur le cardinal d'un groupe résoluble ou sur les groupes d'exposant fini et de type fini sont des exemples caractéristiques. On trouve des cas d'utilisations un peu élémentaires de la théorie, par exemple pour établir le caractère simple d'un groupe d'ordre 168.

Une des techniques, pour élucider la structure d'un groupe fini un peu complexe est de considérer sa représentation en tant que groupe orthogonal d'un réseau. Un exemple est le réseau de Leech, de dimension 24, son groupe orthogonal permet de mettre en évidence les groupes de Conway, dont le plus grand, généralement noté CO₁, comporte 4 157 776 806 543 360 000 éléments. C'est un groupe sporadique obtenu par quotient du groupe orthogonal par son centre^[58].

Le plus célèbre cas est probablement le groupe Monstre, le plus gros des 26 groupes sporadiques simples. Son existence était annoncée depuis une dizaine d'années avant sa construction^[59]. Elle devait découler d'une représentation de dimension 196 883, conjecturée et explicitée sans l'aide d'ordinateur. Elle devrait clore la classification des groupes simples finis.

• Vincent Beck, « TD Représentation des groupes finis », 2005-2006 du cours de M2 de Michel Broué (Université Paris VII - Diderot), et corrigé

• N. Bourbaki, Éléments de mathématique, Algèbre, chap. VIII
• Pierre Colmez, Eléments d'analyse et d'algèbre (et de théorie des nombres), Éditions de l'École polytechnique [lire en ligne]
• (en) Marshall Hall, Jr., The Theory of Groups [détail des éditions]
• (en) Anthony W. Knapp, « Group representation and Harmonic analysis: From Euler to Langlands, Part II », Notices Amer. Math. Soc., vol. 43, n^o 5,‎ 1996 (lire en ligne [archive du 3 avril 2007])
• Serge Lang, Algèbre [détail des éditions]
• Jean-Pierre Serre, Représentations linéaires des groupes finis [détail des éditions]

• Portail des mathématiques