En dynamique holomorphe, l'ensemble de Julia et l'ensemble de Fatou sont deux ensembles complémentaires l'un de l'autre, définis à partir du comportement d'une fonction (ou d'une application) holomorphe par composition itérée avec elle-même.

Alors que l'ensemble de Fatou est l'ensemble des points en lesquels un faible changement du point de départ entraîne un faible changement sur la suite de l'itération (stabilité), l'ensemble de Julia est quant à lui, essentiellement caractérisé par le fait qu'une petite perturbation au départ se répercute en un changement radical de cette suite (chaos).

Les ensembles de Julia offrent de nombreux exemples d'ensembles fractals.

Ces deux ensembles ont été nommés en l'honneur des mathématiciens français Pierre Fatou et Gaston Julia dont les travaux, au début du XX^e siècle, sont à l'origine d'une nouvelle branche des mathématiques, la dynamique holomorphe.

Si f est la fonction engendrant le système dynamique, on a l'habitude de noter J(f) et F(f) les ensembles de Julia et Fatou qui lui sont associés.

La définition fut initialement donnée pour les fractions rationnelles^{[1],[2],[3],[4],[5],[6]} mais on peut l'étendre à d'autres classes de fonctions holomorphes. Les polynômes sont un cas particulier de fractions rationnelles. Pour ces derniers, une autre définition est souvent utilisée : l'ensemble de Julia est la frontière du bassin d'attraction de l'infini. L'équivalence des deux définitions est un théorème.

Soit ${\displaystyle f:S\to S}$ une fraction rationnelle définie sur la sphère de Riemann. L'ensemble de Fatou de ${\displaystyle f}$, noté ${\displaystyle F(f)}$ est l'ensemble des points ${\displaystyle z}$ de ${\displaystyle S}$ tels qu'il existe un voisinage ${\displaystyle U}$ de ${\displaystyle z}$ sur lequel la famille des itérées ${\displaystyle (f_{|U}^{\circ n})_{n\in \mathbb {N} }}$ est normale. L'ensemble de Julia est le complémentaire de l'ensemble de Fatou : ${\displaystyle J(f)=S\backslash F(f)}$.

Cette définition peut s'étendre au cas où ${\displaystyle f}$ est une fonction holomorphe définie sur une surface de Riemann ${\displaystyle S}$ quelconque. Dans le cas où la surface ${\displaystyle S}$ est hyperbolique, l'ensemble de Julia est toujours vide, mais dans le cas où ${\displaystyle S}$ est euclidienne, la dynamique peut être compliquée. Dans cet article, on se restreindra au cas où ${\displaystyle S}$ est sphérique.

• L'ensemble de Julia est un ensemble parfait, c'est-à-dire fermé et sans point isolé.

• Si l'ensemble de Julia contient un point intérieur, alors il est égal à la sphère de Riemann tout entière.

• Si ${\displaystyle f}$ est de degré 2 ou plus, l'ensemble de Julia est soit connexe, soit a une infinité de composantes connexes.

• Si ${\displaystyle a}$ est un point fixe attractif de ${\displaystyle f}$, la frontière du bassin d'attraction de ${\displaystyle a}$ est l'ensemble de Julia tout entier.

• Si ${\displaystyle f}$ possède un point fixe répulsif dont le multiplicateur n'est pas réel, alors ${\displaystyle J(f)}$ n'est pas une variété lisse, sauf si c'est la sphère de Riemann tout entière.

• L'ensemble de Julia est complétement invariant par ${\displaystyle f}$, c'est-à-dire que ${\displaystyle z}$ est dans ${\displaystyle J(f)}$ si et seulement si ${\displaystyle f(z)}$ est dans ${\displaystyle J(f)}$^[4]. De manière équivalente, l'ensemble de Fatou est aussi complétement invariant.

• L'ensemble de Julia ne change pas si on remplace ${\displaystyle f}$ par l'une de ses itérées : pour tout ${\displaystyle k\in \mathbb {N} }$, ${\displaystyle J(f^{\circ k})=J(f)}$.

• L'ensemble de Julia contient les cycles répulsifs et paraboliques de ${\displaystyle f}$. L'ensemble de Fatou contient les cycles attractifs ; pour le reste des cycles, les deux cas peuvent se produire.

• Si ${\displaystyle z}$ est un point de ${\displaystyle J(f)}$, et ${\displaystyle U}$ un voisinage de ${\displaystyle z}$, alors l'union des itérés ${\displaystyle f^{\circ n}(U)}$ recouvre toute la sphère de Riemann, sauf peut-être deux points. C'est ce qui fait dire que la dynamique au voisinage des points de l'ensemble de Julia est chaotique.

• Si ${\displaystyle z}$ est un point de ${\displaystyle J(f)}$, alors l'ensemble des préimages de ${\displaystyle z}$ par les itérés de ${\displaystyle f}$, c'est-à-dire l'ensemble ${\displaystyle \bigcup _{n\in \mathbb {N} }f^{-k}(z),}$ est dense dans ${\displaystyle J(f)}$.

Dans le cas où ${\displaystyle f}$ est un polynôme, le point à l'infini est toujours un point fixe super-attractif. Son bassin d'attraction est l'ensemble des ${\displaystyle z\in S}$ tel que ${\displaystyle \lim _{n\to \infty }|f^{\circ n}(z)|=+\infty }$. L'ensemble de Julia rempli est alors le complémentaire de ce bassin d'attraction ; autrement dit, ce sont les points dont l'orbite est bornée. C'est un compact, dont la frontière est l'ensemble de Julia de ${\displaystyle f}$ ; et lorsqu'il est connexe, il est simplement connexe.

Étant donnés deux nombres complexes, c et z₀, définissons la suite (z_n) par la relation de récurrence : ${\displaystyle z_{n+1}=z_{n}^{2}+c.}$

Pour une valeur donnée de c, l'ensemble de Julia correspondant est la frontière de l'ensemble des valeurs initiales z₀ pour lesquelles la suite est bornée. En déplaçant le point c sur le plan complexe, nous pouvons donc imaginer un film sur lequel nous verrions défiler les ensembles de Julia correspondant aux points c parcourus.

La définition des ensembles de Julia dans ce cas particulier peut être associée à celle de l'ensemble de Mandelbrot qui est l'ensemble de toutes les valeurs de c pour lesquelles la suite (z_n) est bornée, en prenant z₀ = 0.

L'ensemble de Mandelbrot est un ensemble de paramètres c ayant une propriété particulière pour les ensembles de Julia : en effet, Julia et Fatou ont démontré que pour les points c appartenant à l'ensemble de Mandelbrot, l'ensemble de Julia correspondant est d'« une seule pièce » c'est-à-dire topologiquement connexe, et qu'inversement lorsque le point c traverse la frontière de l'ensemble de Mandelbrot, l'ensemble de Julia se brise en une poussière de Cantor formée de points non connectés mais dont tout voisinage contient un autre point de l'ensemble. Il y a équivalence entre cette propriété et la définition précédente d'un ensemble de Mandelbrot.

• Ensemble de Julia où c varie sur le cercle unité décalé de 0,25 + 0,5 i.
• Ensemble de Julia où c varie sur une courbe paramétrique.
• Ensemble de Julia où c varie sur un segment.
• Ensemble de Julia où c varie sur le cercle unité.

• 
  Ensemble de Julia de z² + c avec c = 0,3 + 0,5 i.
• 
  Ensemble de Julia pour c = 0,285 + 0,01 i (courbes de niveau du nombre d'itérations).
• 
  Le même ensemble avec une coloration différente (nombre d'itérations et pavage selon le secteur d'arrivée).
• 
  Détail de l'ensemble de Julia pour c = –1,417022285618 + 0,0099534 i.
• 
  Détail de l'ensemble de Julia pour c = –0,038088 + 0.9754633 i.
• 
  Ensemble de Julia pour c = 0,285 + 0,013 i.
• 
  Tracé d'un ensemble de Julia par itération inverse.
• 
  Ensembles de Julia de z² + c pour différentes valeurs de c.
• 
  Ensemble de Julia rempli pour c = 0,285 + 0,01 i.
• 
  Ensemble de Julia rempli pour c = -1,476.
• 
  Ensemble de Julia rempli pour c = −0,4 + 0,6 i.
• 
  Ensemble de Julia rempli pour c = −0,8+0,156 i.

• Lapin de Douady
• Dendrite (ensemble de Julia)

• Jean-Christophe Yoccoz, « Ensembles de Julia de mesure positive et disques de Siegel des polynômes quadratiques », Séminaire Bourbaki, t. 48,‎ 2005-2006, p. 385-402 (lire en ligne)
• (en) John Milnor, Dynamics in one complex variable, Introductory lectures, 1999, 257 p. (ISBN 3-528-03130-1).

• Quelques ensemble de Julia sur YouTube
• Une application html pour générer des ensembles de Julia et voir le lien entre l'ensemble de Mandelbrot et les ensembles de Julia.

• Portail de la géométrie