В математиці, алгебра Лі називається нільпотентною якщо її нижній центральний ряд зрештою стає рівним нулю. Він є Лі алгебраїчним аналогом нільпотентних груп.

Нехай ${\displaystyle {\mathfrak {g}}}$ — алгебра Лі. Тоді ${\displaystyle {\mathfrak {g}}}$ називається нільпотентною якщо нижній центральний ряд рівний нулю починаючи з деякого члена, тобто якщо ${\displaystyle {\mathfrak {g}}_{n}=0}$ для деякого n ∈ ℕ.

А саме

${\displaystyle [X_{1},[X_{2},[\cdots [X_{n},Y]\cdots ]]=\mathrm {ad} _{X_{1}}\mathrm {ad} _{X_{2}}\cdots \mathrm {ad} _{X_{n}}Y\in {\mathfrak {g}}_{n}=0}$

${\displaystyle \forall X_{1},X_{2},\ldots ,X_{n},Y\in {\mathfrak {g}},\qquad (1)}$

тож ad_X1ad_X2 ⋅⋅⋅ ad_Xn = 0.

Наслідком означення (1) є те, що

${\displaystyle [X,[X,[\cdots [X,Y]\cdots ]={\mathrm {ad} _{X}}^{n}Y\in {\mathfrak {g}}_{n}=0\quad \forall X,Y\in {\mathfrak {g}}.\qquad (2)}$

Тому (ad_X)ⁿ = 0 для всіх ${\displaystyle X\in {\mathfrak {g}}}$. Тобто, ad_X є нільпотентним ендоморфізмом. Такий елемент x в ${\displaystyle {\mathfrak {g}}}$ називається ad-нільпотентним.

Навпаки, якщо ${\displaystyle {\mathfrak {g}}}$ є скінченновимірною, умова (2) є еквівалентною умові (1), згідно теореми Енгеля

Алгебра Лі ${\displaystyle {\mathfrak {g}}}$ є нільпотентною тоді і тільки тоді коли ${\displaystyle {\mathfrak {g}}}$ є ad-нільпотентною.

Іншою еквівалентною умовою нільпотентності ${\displaystyle {\mathfrak {g}}}$ є: ${\displaystyle {\mathfrak {g}}}$ є нільпотентною тоді і тільки тоді коли ${\displaystyle \mathrm {ad} \,{\mathfrak {g}}}$ є нільпотентною алгеброю Лі. Це випливає з того що на основі (1) ${\displaystyle \mathrm {ad} \,{\mathfrak {g}}}$ є нільпотентною, оскільки (n − 1) вкладені дужки Лі будуть мати форму, як в (1). Навпаки^[1]

${\displaystyle [[\cdots [[X_{n},X_{n-1}],\cdots ,X_{2}],X_{1}]=\mathrm {ad} [\cdots [X_{n},X_{n-1}],\cdots ,X_{2}](X_{1}),}$ і оскільки ad є гомоморфізмом алгебр Лі,

${\displaystyle {\begin{aligned}\mathrm {ad} [\cdots [X_{n},X_{n-1}],\cdots ,X_{2}]&=[\mathrm {ad} [\cdots [X_{n},X_{n-1}],\cdots X_{3}],\mathrm {ad} _{X_{2}}]\\&=\ldots =[\cdots [\mathrm {ad} _{X_{n}},\mathrm {ad} _{X_{n-1}}],\cdots \mathrm {ad} _{X_{2}}].\end{aligned}}}$

Якщо ${\displaystyle \mathrm {ad} \,{\mathfrak {g}}}$ є нільпотентною, останній вираз рівний 0 для достатньо великих n, і відповідно це ж справедливо і для першого виразу. Але звідси отримується (1), тож алгебра ${\displaystyle {\mathfrak {g}}}$ є нільпотентною.

• Нехай ${\displaystyle V}$ є скінченновимірним векторним простором над полем ${\displaystyle K}$ і ${\displaystyle F=\{V_{i}\}}$ — прапор векторних підпросторів. Підалгебра ${\displaystyle {\mathfrak {n}}(F)=\{x\in {\mathfrak {gl}}(V)|xV_{i}\subset V_{i-1},\;\;\forall V_{i}\}}$ алгебри ${\displaystyle {\rm {gl}}_{k}}$ є нільпотентною алгеброю Лі. Якщо на просторі ${\displaystyle V}$ ввести базис, що узгоджується з ${\displaystyle F}$ то елементи алгебри ${\displaystyle {\mathfrak {n}}(F)}$ визначаються верхніми трикутними матрицями з нулями на головній діагоналі. Якщо прапор є повним то відповідною алгеброю буде алгебра всіх верхніх трикутних матриць над полем ${\displaystyle K}$ розмірності n, що позначається ${\displaystyle {\mathfrak {n}}(n,K).}$ Довільна скінченновимірна нільпотентна алгебра Лі є ізоморфною підалгебрі ${\displaystyle {\mathfrak {n}}(n,K)}$ для деякого n.
• ${\displaystyle {\mathfrak {n}}(3,K)}$ з точністю до ізоморфізмів є єдиною неабелевою нільпотентною алгеброю Лі розмірності 3.
• Якщо алгебра Лі ${\displaystyle {\mathfrak {g}}}$ має автоморфізм простого періоду без нерухомих точок за винятком 0, тоді ${\displaystyle {\mathfrak {g}}}$ є нільпотентною.
• Алгебра Гейзенберга є нільпотентною.

• Кожна нільпотентна алгебра є розв'язною. Ця властивість є корисною для доведення розв'язності оскільки перевірка нільпотентності зазвичай є простішою. Обернене твердження загалом не є правильним. Наприклад алгебра ${\displaystyle {\mathfrak {gl}}(k,\mathbb {R} )}$ (k ≥ 2), що складається з верхніх трикутних матриць є розв'язною але не нільпотентною.
• Якщо алгебра Лі ${\displaystyle {\mathfrak {g}}}$ є нільпотентною то її підалгебри, гомоморфні образи, факторалгебри, центральні розширення і скінченні прямі суми є нільпотентними.
• Якщо факторалгебра ${\displaystyle {\mathfrak {g}}/Z({\mathfrak {g}})}$, де ${\displaystyle Z({\mathfrak {g}})}$ є центром ${\displaystyle {\mathfrak {g}}}$, є нільпотентною, то нільпотентною є і алгебра ${\displaystyle {\mathfrak {g}}}$.
• Теорема Енгеля: Алгебра Лі ${\displaystyle {\mathfrak {g}}}$ є нільпотентною тоді і тільки тоді коли для всі елементи алгебри ${\displaystyle {\mathfrak {g}}}$ є ad-нільпотентними. Більш загально для довільного скінченновимірного представлення ${\displaystyle \rho }$ нільпотентної алгебри Лі ${\displaystyle {\mathfrak {g}}}$ для якого ${\displaystyle \rho (X)}$ є нільпотентним для всіх ${\displaystyle X\in {\mathfrak {g}}}$ існує такий повний прапор, що ${\displaystyle \rho ({\mathfrak {g}})\subset {\mathfrak {n}}(F).}$
• Узагальненням попередньої властивості є теорема Цасенгауза, згідно якої для довільного скінченновимірного представлення ${\displaystyle \rho }$ у векторному просторі над алгебраїчно замкнутим полем нільпотентної алгебри Лі ${\displaystyle {\mathfrak {g}}}$ простір ${\displaystyle V}$ на якому визначене представлення розкладається на пряму суму підпросторів обмеження ${\displaystyle \rho }$ на кожному з яких є сумою скалярного і нільпотентного лінійних операторів.
• Форма Кіллінга нільпотентної алгебри Лі рівна 0. Більш загально для довільної скінченновимірної алгебри Лі її нільпотентний ідеал є ортогональним до всієї алгебри відносно форми Кіллінга.
• Нільпотентна алгебра Лі має зовнішні автоморфізми, тобто автоморфізми які не є образами відображення Ad.
• Для скінченновимірної розв'язної алгебри Лі ${\displaystyle {\mathfrak {g}}}$ над полем характеристики 0 ${\displaystyle [{\mathfrak {g}},{\mathfrak {g}}]}$ є нільпотентною алгеброю.
• Для довільної нільпотентної алгебри Лі розмірності більшої 1 корозмірність її комутатора ${\displaystyle \operatorname {codim} \;[{\mathfrak {g}},{\mathfrak {g}}]\geqslant 2.}$ Зокрема якщо ${\displaystyle \operatorname {dim} \;{\mathfrak {g}}\leqslant 2,}$ то ${\displaystyle {\mathfrak {g}}}$ є абелевою.
• В довільній скінченновимірній алгебрі Лі ${\displaystyle {\mathfrak {g}}}$ існує найбільший нільпотентний ідеал, що називається нільрадикалом. У полі характеристики 0 нільрадикал складається з елементів ${\displaystyle X\in {\mathfrak {g}}}$ для яких ${\displaystyle \operatorname {ad} _{X}}$ є нільпотентним лінійним перетворенням.
• Іншим важливим нільпотентним ідеалом є нільпотентний радикал, що за означенням рівний перетину ядер скінченновимірних незвідних представлень алгебри ${\displaystyle {\mathfrak {g}}}$. Якщо ${\displaystyle {\mathfrak {r}}}$ — радикал алгебри ${\displaystyle {\mathfrak {g}}}$ (тобто максимальний розв'язний ідеал) то нільпотентний радикал рівний ${\displaystyle {\mathfrak {n}}=[{\mathfrak {g}},{\mathfrak {r}}]=[{\mathfrak {g}},{\mathfrak {g}}]\cap {\mathfrak {r}}.}$Факторалгебра ${\displaystyle {\mathfrak {g}}/{\mathfrak {n}}}$ є редуктивною алгеброю Лі і ${\displaystyle {\mathfrak {n}}}$ є мінімальним із ідеалів для яких виконується ця умова.
• Якщо ${\displaystyle V}$ — скінченновимірний векторний простір над полем характеристики 0 то довільна нільпотентна підалгебра Лі ${\displaystyle {\mathfrak {g}}\subset {\mathfrak {gl}}(V)}$ записується як ${\displaystyle {\mathfrak {g}}={\mathfrak {a}}+{\mathfrak {n}}}$, де ${\displaystyle {\mathfrak {a}},{\mathfrak {n}}}$ — ідеали, що складаються відповідно з напівпростих і нільпотентних елементів з ${\displaystyle {\mathfrak {g}}}$.

• Нільпотентна матриця

• Розв'язна алгебра Лі

• Fulton, W.; Harris, J. (1991). Representation theory. A first course. Graduate Texts in Mathematics. Т. 129. New York: Springer-Verlag. ISBN 978-0-387-97527-6. MR 1153249. 
• Humphreys, James E. (1972). Introduction to Lie Algebras and Representation Theory. Graduate Texts in Mathematics. Т. 9. New York: Springer-Verlag. ISBN 0-387-90053-5. 
• Knapp, A. W. (2002). Lie groups beyond an introduction. Progress in Mathematics. Т. 120 (вид. 2nd). Boston·Basel·Berlin: Birkhäuser. ISBN 0-8176-4259-5.