Instabilitas Jeans adalah syarat sebuah awan molekul runtuh untuk akhirnya membentuk bintang-bintang.

Tanpa adanya gangguan, awan molekul yang tidak memenuhi syarat instabilitas Jeans akan selamanya menjadi awan molekul. Gangguan dapat datang dari gelombang kejut yang berasal misalnya dari sebuah ledakan supernova atau dari angin bintang. Gangguan ini akan menyebabkan terganggunya stabilitas awan, khususnya kerapatan materi, hingga suatu saat instabilitas Jeans dapat dicapai atau bahkan dilampaui. Jika syarat ini terpenuhi, maka pembentukan bintang-bintang tidak dapat dicegah lagi. Instabilitas Jeans sangat bergantung pada nilai kerapatan materi yang terkandung di dalam sebuah awan molekul. Syarat ini diturunkan oleh fisikawan Britania, Sir James Jeans pada tahun 1902.

Kriteria Jeans atau panjang Jeans atau panjang gelombang Jeans adalah panjang gelombang gangguan yang dibutuhkan agar instabilitas Jeans tercapai. Kriteria Jeans dirumuskan sebagai berikut:

${\displaystyle \lambda _{J}=({\frac {\pi }{G\varrho }})^{1/2}\upsilon _{s}}$

dengan ${\displaystyle G\,\!}$ adalah konstanta gravitasi, ${\displaystyle \varrho }$ adalah rapat massa dan ${\displaystyle \upsilon _{s}\,\!}$ adalah kecepatan suara di dalam awan. Agar instabilitas Jeans dapat tercapai, panjang gelombang gangguan harus lebih besar daripada kriteria Jeans ini.

Bila efek rotasi dan medan magnet tidak diperhitungkan, sebuah awan molekul yang mendapatkan gangguan akan runtuh jika massanya lebih besar dari suatu massa Jeans yang dinyatakan sebagai berikut:

${\displaystyle M_{J}=1,2\times 10^{5}M_{\bigodot }\left({\frac {T}{100K}}\right)^{3/2}\left({\frac {\varrho }{10^{-24}g.cm^{-3}}}\right)^{-1/2}\mu ^{-3/2}}$

dimana M_ʘ adalah massa matahari, T adalah temperatur awan molekul dalam K(Kelvin), ${\displaystyle \varrho }$ adalah rapat massa, dan μ adalah berat molekul rata-rata.

Contoh sederhana, tinjau sebuah awan molekul dengan kerapatan ${\displaystyle \varrho }$ = 10⁻²⁴g.cm⁻³, temperatur T = 100 K dan μ = 1 (berat molekul rata-rata untuk hidrogen netral, jika diasumsikan semua awan molekul terdiri dari hidrogen netral), maka akan didapatkan massa Jeans sebesar 120.000 massa matahari. Artinya dengan kondisi-kondisi di atas, hanya awan molekul bermassa lebih besar daripada 120.000 massa matahari saja yang akan berkontraksi atau runtuh untuk membentuk bintang-bintang.

Untuk mencapai massa Jeans tersebut, dengan kerapatan yang kecil (lebih kecil daripada kerapatan materi di dalam sebuah vacuum chamber yang ada di bumi), maka awan molekul haruslah menempati sebuah wilayah yang sangat luas. Bentangan awan molekul dapat mencapai orde puluhan bahkan ratusan tahun cahaya.

Seiring mengerutnya awan molekul, harga ${\displaystyle \varrho }$ semakin membesar, yang membuat massa Jeans menjadi semakin kecil. Hal ini menciptakan pengerutan-pengerutan lokal bergantung fluktuasi kerapatan di dalam awan molekul tersebut. Begitu seterusnya hingga tercipta globula-globula Bok yang merupakan cikal bakal protobintang.

Skala waktu untuk pertumbuhan instabilitas Jeans adalah:

${\displaystyle \tau \approx (G\varrho )^{-1/2}}$

Dengan ${\displaystyle \varrho }$ = 10⁻²⁴g.cm⁻³ (lihat contoh sederhana di atas), keruntuhan akan memakan waktu sekitar 10⁸ tahun. Namun selama keruntuhan, ${\displaystyle \tau \,\!}$ semakin pendek karena ${\displaystyle \varrho }$ semakin besar.

Kippenhahn, R dan A. Weigert, Stellar Structure and Evolution, Springer-Verlag, Berlin, 1990, ISBN 3-540-50211-4