モジュラー曲線（モジュラーきょくせん）とは複素上半平面 H の合同部分群 Γ の作用による商として定義されるリーマン面のことである。合同部分群 Γ とは、整数の 2 × 2 の行列 SL(2, Z) のある部分群のことである。モジュラー曲線はコンパクトとは限らないが、有限個の Γ のカスプと呼ばれる点を加えることでコンパクト化されたモジュラー曲線 X(Γ) を定めることができる。モジュラー曲線の点は、楕円曲線とそれに付随する群 Γ に関係するある構造をもったものの同型類の集合とみなすことができ、モジュラー曲線を代数幾何的に、また有理数体 Q や円分体の上でモジュラー曲線を定義することもできる。このことからモジュラー曲線は整数論で重要な対象である。

モジュラー群 SL(2, Z) は上半平面上に一次分数変換として作用する。SL(2, Z) の合同部分群 Γ をとは、ある正の整数 N に対し、レベル N の主合同部分群（英語版）(principal congruence subgroup of level N)を含むような部分群のことである。ここで主合同部分群 Γ(N) とは

${\displaystyle \Gamma (N)=\left\{{\begin{pmatrix}a&b\\c&d\\\end{pmatrix}}:\ a,d\equiv \pm 1\mod N{\text{ and }}b,c\equiv 0\mod N\right\}}$

なる群をあらわす。

そのような N の最小の値をΓ のレベルという。この群による商 Γ\H に複素構造を定めたものを非コンパクトなモジュラー曲線${\displaystyle Y\left(\Gamma \right):=\Gamma \backslash {\mathcal {H}}}$という。これはリーマン面 である。

Y(Γ) のコンパクト化は、Γ のカスプと呼ばれる有限個の点を加えることにより得られる。特に、このコンパクト化は、拡張された複素上半平面 H* = H ∪ Q ∪ {∞} 上の Γ の作用を考えることにより得られる。H* に次を開基とする位相を定める。

• H の上のすべての開集合
• すべての r > 0 に対し、集合 ${\displaystyle \{\infty \}\cup \{\tau \in \mathbf {H} \mid {\text{Im}}(\tau )>r\}}$
• すべての互いに素な整数 a, c と m, n は an + cm = 1 となる整数 m, n と、すべての r > 0 に対し、作用

${\displaystyle {\begin{pmatrix}a&-m\\c&n\end{pmatrix}}}$

の下で、${\displaystyle \{\infty \}\cup \{\tau \in \mathbf {H} \mid {\text{Im}}(\tau )>r\}}$ の像

これは、 H* をリーマン球面 P¹(C) の部分集合へ変える。群 Γ は部分集合 Q ∪ {∞} 上へ作用し、Γ のカスプと呼ばれる有限個の軌道へ分解する。特に Γ が Q ∪ {∞} 上に推移的に作用すると、空間 Γ\H* は Γ\H の一点コンパクト化となる。この カスプ(cusp、尖点)を加えてコンパクト化したリーマン面^[1]を${\displaystyle X\left(\Gamma \right):=\Gamma \backslash {\mathcal {H}}^{*}}$と書く。X(Γ) は Y(Γ) の空間のコンパクト化である^[2]。

最も知られている例は、曲線 X(N), X₀(N) と X₁(N) であり、それぞれ合同部分群 Γ(N), Γ₀(N) と Γ₁(N) から定まるものである。

モジュラー曲線 X(5) は種数 0 を持ち、正二十面体の頂点に 12個のカスプを持つリーマン球面である。被覆 X(5) → X(1) はリーマン球面上の20面体群（英語版）(icosahedral group)の作用による商である。この群は位数 60 の単純群で、対称群 A₅ および PSL(2, 5) とに同型である。

モジュラー曲線 X(7) は、カスプを 24個持つ種数 3 のクライン四次曲線（英語版）(Klein quartic)である。これは3つのハンドルつきの曲面を 24 個の七角形でタイリングし、各々の面の中心にカスプを持っていると解釈することができる。これらのタイリングは、dessins d'enfants^[3] やベルイ函数（英語版）(Belyi function)を通して理解することができる。カスプは、無限遠点 ∞ 上にある（赤い点）、一方、頂点と辺の中心にある（黒と白の点）カスプは、0 と 1 にある。被覆 X(7) → X(1) のガロア群は、PSL(2, 7) に同型な位数 168 の単純群である。

X₀(N) には、明確な古典モデルである古典的モジュラー曲線が存在し、これを「モジュラー曲線」という場合もある。Γ(N) の定義は次のように言い直すこともできる。Γ(N) は、法 N 還元 SL₂(Z) → SL₂(Z/NZ) の核である。Γ₀(N) は法 N 還元して上三角行列になるもの全体のなす部分群

${\displaystyle \Gamma _{0}(N)=\left\{{\begin{pmatrix}a&b\\c&d\end{pmatrix}}:\ c\equiv 0\mod N\right\}}$

であり、Γ₁(N) はこのふたつの中間にある群であり、

${\displaystyle \Gamma _{1}(N)=\left\{{\begin{pmatrix}a&b\\c&d\end{pmatrix}}:\ a\equiv 1\mod N,c\equiv 0\mod N\right\}}$

で定義される。

これらの曲線は、レベル構造つき楕円曲線のモジュライ空間として解釈される。このため、モジュラー曲線は数論幾何(arithmetic geometry)で重要な役割を果たす。レベル N のモジュラー曲線 X(N) は、楕円曲線とそのN-等分点の基底の組のモジュライ空間である。X₀(N) と X₁(N) の付加構造は、それぞれ、位数 N の巡回部分群、位数 N の点である。これらの曲線は、非常に詳しく研究されており、特に、X₀(N) は有理数体上で定義することができる。

モジュラ曲線を定義する方程式は、モジュラー方程式（英語版）(modular equation)の最も良く知られた例である。この「最良のモデル」は楕円函数論から直接得られる理論とは非常に異なっている。ヘッケ作用素は、二つのモジュラー曲線の間の対応として幾何学的に研究される。

注意: コンパクトな H の商は、モジュラ群の部分群以外に、フックス群（英語版）(Fuchsian group) Γ に対し発生する。これは、四元数からくる構成されるこれらのクラスは、数論でも興味がもたれている。

被覆 X(N) → X(1) はガロア群 SL(2, N)/{1, −1} を持つガロア被覆であり、N が素数であればこのガロア群は PSL(2, N) と同じになる。リーマン・フルヴィッツの公式とガウス・ボネの定理を適用すると、X(N) の種数を計算することができる。レベルが素数 p ≥ 5 であれば、

${\displaystyle -\pi \chi (X(p))=|G|\cdot D}$

である。ここに χ = 2 − 2g はオイラー標数、|G| = (p + 1)p(p − 1)/2 は群 PSL(2, p) の位数、D = π − π/2 − π/3 − π/p は球状の (2,3,p) の三角形の角度欠陥（英語版）(angular defect)である。このことから、公式

${\displaystyle g={\tfrac {1}{24}}(p+2)(p-3)(p-5)}$

が導かれる。

このようにして、X(5) は種数 0 であり、X(7) は種数 3 であり、X(11) は種数26 であることがわかる。p = 2 あるいは 3 に対しは分岐を考えに入れる、つまり、PSL(2, Z) には位数 p の元が存在し、PSL(2, 2) は位数 3 というよりも位数 6 であることを考慮する必要がある。N を因子として含むレベル N のモジュラー曲線の種数についてのより複雑な公式がある。

一般に、モジュラー函数体とは、モジュラー曲線（あるいは既約であるような他のモジュライ空間）の函数体である。種数が 0 であることは、そのような函数体が唯一の超越函数を生成元として持っていることを意味し、たとえば、j-函数は ${\displaystyle X(1)=PSL(2,\mathbb {Z} )\backslash \mathbb {H} }$ の函数体を生成する。この生成元はメビウス変換で移りあう函数を同一視すると一意となり、適切に正規化することができ、そのような函数を Hauptmodul (あるいは主モジュラー函数(principal modular function)と呼ぶ。

空間 X₁(n) は n = 1, ..., 10 と n = 12 に対して、種数 0 である。これらの曲線は、Q 上で定義されているので、そのような曲線上には無限に多くの有理点が存在し、よって、これらの n の値に対し n-捩れを持つ有理数体上定義された楕円曲線が無限に存在する。n がこれらの値のときのみ、逆のステートメントが成り立ち、これがメイザーの捩れ定理である。

Γ を合同部分群とする。複素数体 C の部分環 R に対して、R 上のスキーム V と複素解析的同型 φ: Γ ⧵H → V(C) の組 (V, φ) であって、V が R 上1次元ファイバーを持つものをモジュラー曲線 Γ ⧵H の R 上のモデルという^[4]。この定義において Γ ⧵H を Γ ⧵H^* に置き換えたものもモデルという^{[5][注釈 1]}。例えば整数環 Z 上のアフィン直線 Spec(Z[j]) と j 関数の組は SL₂(Z)⧵H の整数環 Z 上のモデルである^[4]。

以下、N は正整数とする。

j_N を j_N(τ) = j(Nτ) で定義される上半平面上の関数とする^[6]。Q(j, j_N) は有理数体 Q 上の超越次元が1の体で、この体に含まれる Q 上代数的な元は Q の元のみである^[7]。よって関数体と非特異射影代数曲線の対応により Q 上のある非特異射影代数曲線 X₀(N) であってその関数体がこれになるものが存在する^[8]。これは Γ₀(N) ⧵H^* の Q 上のモデルになっている^[9]。

モジュラー方程式と呼ばれる、次の性質を持つ整数係数2変数多項式 Φ_N(X, Y) が存在する^[10][11]。

• Φ_N(j, Y) を C(j)[Y] の元と見たとき、これは j_N の最小多項式である。
• Φ_N(X, Y) は既約多項式である。

例えば N = 2 に対しては　

${\displaystyle \Phi _{2}(X,Y)=X^{3}+Y^{3}-X^{2}Y^{2}+1488XY(X+Y)-162000(X^{2}+Y^{2})+40773375XY+8748000000(X+Y)-157464000000000}$

である^[12]。この例からもわかるように Φ_N(X, Y) は対称多項式である。この方程式で定義される有理数体上の代数曲線の特異点を解消し完備化したものが X₀(N) と同型である^[13][11]。

上半平面 H 上の関数 f₁ を次で定義する^[6]。

${\displaystyle f_{1}(\tau )={\frac {g_{2}(\tau )}{g_{3}(\tau )}}\wp _{\tau }\left({\frac {1}{N}}\right)}$

ここで ℘_τ(z) = ℘(z; τ, 1) はヴァイエルシュトラスの楕円函数、g₂(τ) と g₃(τ) は (℘_τ′(z))² = 4℘_τ(z)³ − g₂(τ)℘_τ(z) − g₃(τ) が成り立つ関数である^[14][15]。f ₁ は Γ₁(N) についてのモジュラー関数である^[16][6]。体 Q( j, f₁) を関数体に持つ Q 上の非特異射影代数曲線を X₁(N) とすると、これが Γ₁(N) ⧵H^* のモデルになる^[17]。

N を正整数、i を0もしくは1とする。Γ_i(N)⧵H には Y_i(N)_Z と書かれる Z 上のモデルが存在し次の性質を持っている^{[注釈 2]}。

• Y_i(N)_Z はアフィン・スキームである^[18]。
• Y_i(N)_Z は連結である^[18]。
• Y_i(N)_Z は正規スキーム（英語版） である^[19]。
• Y₀(N)_Z は、N を一回だけ割る素数 p において準安定である^[19]。
• Y_i(N)_Z[N⁻¹] は Z[N⁻¹] 上滑らかである^[20]。
• Z 上のスキームの圏から集合の圏への関手 ℳ₀(N)_Z を、スキーム T に対して ℳ₀(N)_Z(T) を T 上の楕円曲線 E とその位数 N の巡回部分群スキーム C の組 (E, C) の同型類の集合とすることにより定義する^[21]。Y₀(N)_Z はこの関手の粗モジュライである^[22]。特に、任意の代数閉体 k に対して Y₀(N)_Z(k) は k 上の楕円曲線 E とその位数 N の巡回部分群スキーム C の組 (E, C) の同型類と自然に一対一対応する^[23]。
• Z 上のスキームの圏から集合の圏への関手 ℳ₁(N)_Z を、スキーム T に対して ℳ₁(N)_Z(T) を T 上の楕円曲線 E とその位数がちょうど N の切断 P:T → E の組 (E, P) の同型類の集合とすることにより定義する^[21]。Y₁(N)_Z はこの関手の粗モジュライである^[24]。特に、任意の代数閉体 k に対して Y₁(N)_Z(k) は k 上の楕円曲線 E とその位数がちょうど N の切断 P:Spec(k) → E の組 (E, P) の同型類の集合と自然に一対一対応する^[23]。

X_i(N)_Z を自然な射 j: Y_i(N)_Z → Y(1)_Z≃A1
Z に関する P1
Z の整閉包とする^[25]。X_i(N)_Z は次の性質を持っている。

• X_i(N)_Z は Z 上の射影的かつ正規な代数曲線である^[26]。
• X_i(N)_Z の各幾何的ファイバーは連結である。
• N を割らない素数 p に対して X_i(N)_Fp は滑らかである。X_i(N)_Fp は Y_i(N)_Fp のスムーズコンパクト化である。
• Z 上のスキームの圏から集合の圏への関手 ℳ₀(N)_Z を、スキーム T に対して ℳ₀(N)_Z(T) を T 上の広義楕円曲線 E とその豊富な位数 N の巡回部分群スキーム C の組 (E, C) の同型類の集合とすることにより定義する^[27]。X₀(N)_Z はこの関手の粗モジュライである^[27]。特に、任意の代数閉体 k に対して X₀(N)_Z(k) は k 上の広義楕円曲線 E とその豊富な位数 N の巡回部分群スキーム C の組 (E, P) の同型類の集合と自然に一対一対応する^[23]。

種数 0 のモジュラー曲線はモンストラス・ムーンシャイン予想との関係で非常に重要であることが判明した。モジュラー曲線の Hauptmoduln を q-展開した係数の最初のいくつかが、19世紀に既に計算されていたが、最も大きな単純散在モンスター群の表現空間の次元と同じになっていることが、非常に衝撃的である。

もうひとつの関係は、SL(2, R) の Γ₀(p) の正規化群 Γ₀(p)⁺ から定まるモジュラー曲線が種数 0 であることと、p が 2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31, 41, 47, 59 あるいは、71 であることと同値である。さらにこれらの素数はモンスター群の位数の素因子と一致する。この Γ₀(p)⁺ についての結果は、ジャン＝ピエール・セール(Jean-Pierre Serre), アンドレ・オッグ（英語版）(Andrew Ogg)とジョン・トンプソン(John G. Thompson)が1970年代に発見し、モジュラー群とモンスター群の関係を発見したオッグは、この事実を説明したものには、ジャックダニエル（テネシー・ウイスキー）のボトルを進呈すると論文に記載した。

この関係は非常に深く、リチャード・ボーチャーズ(Richard Borcherds)により示されたように、一般カッツ・ムーディリー代数とも深く関係する。この分野の仕事は、至るところで正則でカスプを持つモジュラー形式に対し、有理型でありカスプで極を持つことのできるモジュラー函数の重要性を示している。これらの仕事は、20世紀の重要な研究の対象となった。

• マーニン・ドリンフェルトの定理（英語版）(Manin–Drinfeld theorem)
• モジュラー性定理
• 志村多様体、高次元へのモジュラー曲線の一般化