数学の、特に関数解析や作用素論の分野における非有界作用素（ひゆうかいさようそ、英語: unbounded operator）は、位相線型空間のあいだの線型写像で不連続であること・全体では定義されていないことを許したようなものである。幾何学における微分作用素や量子力学における非有界オブザーバブルなどを扱うための抽象的な基礎付けをあたえるのに用いられる。

ここで「非有界作用素」という語は誤解を招く恐れがある。実際に意味するところは、

• 「非有界」は、「必ずしも有界ではない」という意味で解釈される;
• 「作用素」は、「線型作用素」と解釈される（これは「有界作用素」の場合と同様）;
• 作用素の定義域は線型部分空間であり、必ずしも全空間ではない（これは「有界作用素」の場合と異なる）;
• 定義域は必ずしも閉ではない; それはしばしば（常にではないが）稠密であると仮定される;
• 有界作用素の特別な場合において、定義域は通常、全空間であると仮定される;

という点に注意されたい。

有界作用素の場合と異なり、非有界作用素は個々の作用素が異なった定義域を持ちうるため、非有界作用素同士の和や合成がいつでも意味を持つわけではない。

「作用素」という語はしばしば「有界線型作用素」を意味するが、この記事の文脈では「非有界作用素」を表すこととする（ここで上述の注意点に留意されたい）。以下の解説では主にバナッハ空間やヒルベルト空間の間の非有界作用素について説明するが、ほとんどの構成を適切な形に修正してより一般的な位相ベクトル空間へと一般化することができる。

非有界作用素の理論は、1920年代後半、量子力学に対する厳密な数学的基盤を構築するという試みから生じた。理論の系統的な発展はジョン・フォン・ノイマン^[1] と マーシャル・ストーン^[2]によるものであった。非有界作用素を解析するためにグラフを用いる手法は、フォン・ノイマンにより ^[3] において導入された(Reed & Simon 1980, Notes to Chapter VIII, page 305)。

B₁ および B₂ をバナッハ空間とする。非有界作用素（あるいは単純に、作用素）T : B₁ → B₂ とは、B₁ の線型部分空間 D(T) （すなわち、T の定義域）から空間 B₂ への線型写像 T のことである^[4]。有界線型作用素の場合とは異なり、ここでは T は全空間 B₁ 上で定義されない場合も考慮する。二つの作用素が等しいとは、それらが共通の定義域を持ち、その定義域上で同一のものであることを意味する。

作用素 T に対して、もしそのグラフ Γ(T) が閉集合であるなら、T は閉であると言われる^[5]ここで、グラフ Γ(T) は直和 B₁ ⊕ B₂ の線型部分空間で、ベクトル x をT の定義域内で動かして得られる対 (x, Tx) 全てからなる集合である。一般に直和上の(l¹和ノルムの）グラフへの制限はグラフノルムと呼ばれるが、Tが閉作用素であるということはグラフノルムを用いて次のように表すことができる: 作用素 T が閉であることと、その定義域 D(T) がノルム

${\displaystyle \|x\|_{T}={\sqrt {\|x\|^{2}+\|Tx\|^{2}}}\ .}$

について完備空間であることは同値な条件である^[6]。このことを具体的に言い表すと、T の定義域に含まれる点からなる列 (x_n) で、B₁のベクトル x へと収束し、また Tx_n がB₂のベクトル y へと収束するようなものがあったとき、x は T の定義域に含まれ、Tx = yが成立する、ということになる^[5]。

作用素 T はその定義域が B₁ において稠密であるとき稠密に定義されていると言われる^[4]。 これは全空間 B₁ 上で定義される作用素も含む。なぜならば全空間はそれ自身において稠密であるからである。定義域の稠密性は、その作用素の共役（adjoint）・転置（transpose）の存在のための必要十分条件である。また、SとTについてD(S) ⊂ D(T)かつT|_D(S) = S が成り立つときSはTに含まれる（S ⊂ T）という。

もし T : B₁ → B₂ が閉で、その定義域上稠密に定義されており連続であるなら、それは全空間 B₁ で定義される^[7]。

ヒルベルト空間 H 上稠密に定義された作用素 T は、ある実数 a に対して T + a が正作用素となるとき、下に有界であると言われる。これはすなわち、T の定義域内のすべての x に対して ⟨Tx|x⟩ ≥ −a·||x||² が成立することを意味する^[8]。もし T と (–T) の両方とも下に有界であるなら、T は有界である^[8]。

ルベーグ測度に関するL²空間H=L₂[0,1] は [0,1] 上のすべての二乗可積分関数からなるヒルベルト空間である（より正確には、可測で、実数値あるいは複素数値の関数の同値類）。閉区間 [0,1] 上連続的微分可能なすべての関数 f(t) からなる集合 D(T) ^[9]を定義域とし、tに関する微分によって定義された線型変換

${\displaystyle Tf=f'\;}$

は、 Hから Hへの非有界作用素を与えている。実際、二つの連続的微分可能関数 f および g の線型結合の微分について${\displaystyle (af+bg)'=af'+bg'.\;}$ が成り立つため、これは線型作用素である。

この作用素は有界ではない。例えば、[0,1] 上の関数 f_n を ${\displaystyle f_{n}(t)=\sin 2\pi nt\;}$ で定めると、${\displaystyle \|f_{n}\|_{H}=1/{\sqrt {2}}}$ であるが ${\displaystyle \|Tf_{n}\|_{H}=2\pi n/{\sqrt {2}}\to \infty }$ となる。

この作用素は稠密に定義されているが、折れ線をグラフとするような区分線型関数とその微分の対などがグラフの閉包に含まれるため、閉作用素ではない。

C¹級関数の空間をふくむ様々なバナッハ空間B₁と連続関数の空間を含むバナッハ空間B₂ に対して、上記のように微分を非有界作用素 B₁ → B₂と考えることができる。さらに、ノルムの選び方によってはこの構成から有界作用素が得られる。たとえば、定義域ではC¹ノルム自身 ${\displaystyle \|f\|_{{\mathcal {C}}^{1}}=\|f\|_{\infty }+\|f'\|_{\infty }}$ を考え、値域ではsupノルムを考えれば、微分は連続写像になる。

非有界作用素の共役（adjoint）の定義には、二つの同値な方法がある。

一つ目として、有界作用素の共役を定義するときに用いられるものと同様な方法がある。すなわち、T の共役 T^∗ : H₂ → H₁ は、次の性質を持つような最大の作用素として定義される:

${\displaystyle \langle Tx\mid y\rangle _{2}=\langle x\mid T^{*}y\rangle _{1},\quad (x\in D(T)).}$

T^∗ のより正確な定義は以下のようにする。ベクトルy が、${\displaystyle x\mapsto \langle Tx,y\rangle }$ が T の定義域上の連続線型汎関数となるようなものであるならば、この汎関数を全空間へと拡張したのち、

${\displaystyle \langle Tx\mid y\rangle _{2}=\langle x\mid z\rangle _{1},\quad (x\in D(T))}$

を満たすような z を見つけることが可能である。なぜならば、ヒルベルト空間上の線型汎関数の集合は、内積によってもとの空間自身と同一視できるからである。このような y それぞれに対して、上の条件を満たすz が一意に定められることと、対応する線型汎関数が稠密に定義されていること、すなわち T が稠密に定義されていることは必要十分である。このとき、T^∗y = z とすることによって、T^∗ が定められる。このようにしてT^∗ の値がひとつに定まるためには、T が稠密に定義されていることが必要十分であることに注意されたい。

定義により、T^∗ の定義域は、 ${\displaystyle x\mapsto \langle Tx,y\rangle }$ が T の定義域上で連続となるような元 ${\displaystyle y\in H_{2}}$ からなることが分かる。したがって、T^∗ の定義域はどのようなものでもあり得、例えば自明（すなわち、ゼロのみを含む）であるようなこともある^[10]。T^∗ の定義域は、閉超平面で、その定義上至るところで T^∗ が消失することもあり得る^[11][12]。 したがって、定義域上での T^∗ の有界性は、必ずしも T の有界性を意味しない。一方で、もし T^∗ が全空間で定義されるなら、T はその定義域上で有界であり、したがって連続性により全空間上の有界作用素へと拡張することが出来る^[13]。もし T^∗ の定義域が稠密であるなら、それには共役 T^∗∗ が存在する^[14]。稠密に定義された閉作用素 T が有界であることの必要十分条件は、T^∗ が有界であることである^[15]。

共役作用素のもう一つの同値な定義は、グラフの直交空間を取ることにより得られる。線型作用素 ${\displaystyle J:H_{1}\oplus H_{2}\to H_{2}\oplus H_{1}}$ を、${\displaystyle J(x\oplus y)=-y\oplus x}$ によって定義する^[14]。すると、 ${\displaystyle J(\Gamma (T))^{\bot }}$ がある作用素 S のグラフであることの必要十分条件は、 ${\displaystyle T}$ が稠密に定義されていること、であることが分かる^[16]。簡単な計算により、この作用素 S は ${\displaystyle \langle Tx\mid y\rangle _{2}=\langle x\mid Sy\rangle _{1}}$ を、T の定義域内のすべての x に対して満たすことが分かる。したがって、S は T の共役である。

上の定義により、共役 T^∗ は閉であることがただちに分かる^[14]。特に、自己共役作用素（すなわち、T = T^∗）は閉である。ある作用素 T が稠密に定義された閉作用素であるための必要十分条件は、T^∗∗が存在してT^∗∗ = T が成立することである^[17]。

有界作用素に対してよく知られているいくつかの性質は、稠密に定義された閉作用素に対して一般化される。閉作用素の核は閉である。さらに、稠密に定義された閉作用素 T : H₁ → H₂ の核は、その共役の値域の直交補空間と一致する。すなわち^[18]、

${\displaystyle \operatorname {ker} (T)=\operatorname {ran} (T^{*})^{\bot }}$

が成立する。

フォンノイマンの定理（英語版）によれば、T^∗T および TT^∗ は自己共役であり、I + T^∗T と I + TT^∗ はともに有界な逆を持つことが分かる^[19]。もし ${\displaystyle T^{*}}$ の核が自明であるなら、${\displaystyle T}$ の値域は稠密となる。さらに、T が全射であるための必要十分条件は、

${\displaystyle \forall f\in D(T^{*})\colon \|f\|_{2}\leq K\|T^{*}f\|_{1}}$

を満たす ${\displaystyle K>0}$ が存在することである（これは本質的にはいわゆる閉値域の定理である）。

特に、T の値域が閉であることと、T^∗ の値域が閉であることは必要十分である。

有界の場合と対照的に、必ずしも (TS)^∗ = S^∗T^∗ は成立しない。実際、(TS)^∗ が存在しないことさえあり得る。しかし、例えば T が有界であればその式は成り立つ^[20]。

稠密に定義された閉作用素 T は、次の同値な条件のいずれかを満たすとき、正規であると言われる:^[21]

• T^∗T = T T^∗;
• T の定義域は T^∗ の定義域と等しく、その領域内のすべての x に対して ${\displaystyle \|Tx\|=\|T^{*}x\|}$ が成立する;

T = A + iB、 T^∗ = A – iB, であり、${\displaystyle \|Tx\|^{2}=\|Ax\|^{2}+\|Bx\|^{2}}$ が T の定義域内のすべての x に対して成立するような自己共役作用素 A と B が存在する。

すべての自己共役作用素は正規である。

T : B₁ → B₂ を、バナッハ空間の間の作用素とする。このとき、T の転置（あるいは、双対）${\displaystyle T':{B_{2}}^{*}\to {B_{1}}^{*}}$ とは

${\displaystyle \langle Tx,y'\rangle =\langle x,T'y'\rangle }$

がすべての x ∈ B₁ および y ∈ B₂^* に対して成り立つような作用素のことを言う。ここで、記法 ${\displaystyle \langle x,x'\rangle =x'(x)}$ を用いた^[22]。

T の転置が存在するための必要十分条件は、T が稠密に定義されていることである（本質的には、上述の共役に対するものと同様の理由である）。

H をヒルベルト空間、y ∈ Hとするとき、${\displaystyle y^{*}(x)=\langle x\mid y\rangle _{H},(x\in H)}$ とおく。このとき、${\displaystyle Jy^{*}=y}$ によって与えられる反線型の同型${\displaystyle J:H^{*}\to H}$を考える。この同型を用いて、転置 T^' は共役 T^∗ と、次のように関係付けられる:

${\displaystyle T^{*}=J_{1}T'J_{2}^{-1}}$^[23]

ここで ${\displaystyle J_{j}:H_{j}^{*}\to H_{j}}$ である（有限次元の場合、これは行列の随伴が共役転置であることと対応する）。この等式は転置によって共役の定義を与えていることに注意されたい。

稠密に定義された作用素 T が、 その定義域のすべての元 x と y に対して${\displaystyle \langle Tx\mid y\rangle =\langle x\mid Ty\rangle }$ を満たすとき、T は対称であるという^[24]。つまり、稠密に定義された作用素で T^∗ が T の拡張（次節を参照）になっているようなものが対称作用素である^[24]。ある作用素 T が対称であるための必要十分条件は、付随する二次形式が実であること、すなわち、数 ${\displaystyle \langle Tx\mid x\rangle }$ が、T の定義域内のすべての x に対して実となることである^[24]。

さらに T^∗ = T が成り立つとき、作用素 T は自己共役であると言われる^[24]。共役作用素は必ず閉なので、自己共役な作用素は特に閉となる。稠密に定義された閉の対称作用素 T が自己共役であるための必要十分条件は、T^∗ が対称になることである^[25]。対称作用素の中には自己共役でないものもある^[26][27]。

Jを上で用いた写像 ${\displaystyle x\oplus y\mapsto -y\oplus x}$ とする。稠密に定義された作用素 T に対して、そのグラフ Γ(T) が J(Γ(T)) と直交するなら、T は対称作用素になる^[28]。さらに、 ${\displaystyle H\oplus H}$ が Γ(T) と J(Γ(T)) の内部直和になっているなら、T は自己共役である^[14]。

作用素 T が稠密に定義された閉対称作用素で、さらに T の定義域上で定義された作用素 T – i, および T + i が両方とも全空間 H への全射であれば、T は自己共役になる 。つまり、H 内のすべての x に対して、T の定義域に含まれるような y と z で T y – iy = x および Tz + iz = x. を満たすようなものが存在する、ということを意味する^[29]。

上記の方法は稠密に定義されていない閉作用素には適用できない。稠密に定義されていない作用素の対称性は、共役作用素ではなく直接あるいはグラフを通じて定義される。

対称作用素の研究はしばしばその有界変換であるケイリー変換（英語版）を通じて行われる。

稠密に定義された作用素 T は、もしその二次形式が非負であるなら、すなわち ${\displaystyle \langle Tx\mid x\rangle \geq 0}$ が T の定義域内のすべての x に対して成立するなら、正^[8]あるいは非負^[30]と呼ばれる。そのような作用素は、必ず対称である。

稠密に定義されたすべての閉作用素 T に対して、作用素 T^∗T は、自己共役^[31]かつ正^[8]である。

スペクトル定理は、自己共役作用素^[32]や正規作用素^[33][34]へと適用されるが、一般的に、稠密に定義された作用素や閉作用素へは適用されない。なぜならば、それらはスペクトルが空となる場合があるからである^[35][36]。

至る所で定義された対称作用素は閉で、したがって有界^[5]である。これはヘリンジャー-テープリッツの定理（英語版）として知られる^[37]。

作用素 T が作用素 S の拡張であるとは、 Γ (S) ⊆ Γ (T)が成立することを言う^[38]。同値な定義として、S の定義域内のすべての x は T の定義域に属し、 Sx = Tx が成立する、ということが挙げられる^[4][38]。

すべての作用素に対して、至る所で定義された拡張が存在することに注意されたい。これは、代数的なベクトル空間としての基底の存在により説明され、選択公理に基づく純粋代数的な事実である。もし与えられた作用素が有界でないなら、その拡張は不連続線型写像となる。これは、与えられた作用素の重要な性質を保つことはなく（下記を参照）、一般的に一意ではないため、あまり有用性が無い。

作用素 T は、次の同値な条件のいずれかを満たすとき、可閉と呼ばれる^[5][38][39]:

• T に閉拡張が存在する;
• T のグラフの閉包が、ある作用素のグラフである;
• T の定義域内の点列 (x_n) で、x_n が 0 に収束し、また Tx_n がある y に収束するようなすべてのものに対して、

y = 0 が成立する。

すべての作用素が可閉という訳ではない^[40]。

可閉な作用素 T は、最小の閉拡張 ${\displaystyle {\overline {T}}}$ を持ち、それは T の閉包と呼ばれる。T のグラフの閉包は、${\displaystyle {\overline {T}}}$ のグラフに等しい。他の、最小ではない閉拡張も存在することがある^[26][27]。

稠密に定義された作用素 T が可閉であるための必要十分条件は、T^∗ が稠密に定義されていることである。この場合、${\displaystyle {\overline {T}}=T^{**}}$ および ${\displaystyle ({\overline {T}})^{*}=T^{*}}$ が成り立つ^[14][41]。すべての対称作用素は、可閉である^[42]。

もし S が稠密に定義されており、T が S の拡張であるなら、S^∗ は T^∗ の拡張となる^[43]。

対称作用素は、それ自身を除いてもし対称な拡張が存在しないのなら、最大対称と呼ばれる^[24]。すべての自己共役作用素は、最大対称である^[24]が、その逆は成立しない^[44]。

閉包が自己共役であるような作用素は、本質的自己共役と呼ばれる^[42]。ある作用素が本質的自己共役であるための必要十分条件は、それがただ一つの自己共役な拡張を持つことである^[25]。作用素には一つよりも多くの自己共役な拡張が存在する可能性があり、連続濃度の相異なる自己共役拡張が存在することさえある^[27]。稠密に定義された対称作用素 T が本質的自己共役であるための必要十分条件は、作用素 T – i, および T + i が両方とも稠密な値域を持つことである^[45]。

T を稠密に定義された作用素とする。「T が S" の拡張である」という関係を S ⊂ T と表す（ Γ(S) ⊆ Γ(T) に対してよく用いられる省略記号である）。次が成立する^[46]。

• もし T が対称であるなら、T ⊂ T^∗∗ ⊂ T^∗ である。
• もし T が閉かつ対称であるなら、T = T^∗∗ ⊂ T^∗ である。
• もし T が自己共役であるなら、T = T^∗∗ = T^∗である。
• もし T が本質的自己共役であるなら、T ⊂ T^∗∗ = T^∗である。

自己共役作用素の類は、数理物理学の分野において本質的に重要となる。すべての自己共役作用素は稠密に定義され、閉かつ対称である。その逆は、有界作用素に対しては成立するが、一般には成立しない。自己共役性は実質、それら三つの性質よりも制限の強いものなのである。自己共役作用素に対しては、有名なスペクトル定理が成り立つ。この定理と一径数ユニタリ群に関するストーンの定理（英語版）を組み合わせることにより、自己共役作用素は、強連続1パラメータユニタリ群の無限小生成素であるということが示される（自己共役作用素を参照されたい）。そのようなユニタリ群は、古典力学や量子力学の分野における時間発展を表現する上で、特に重要となる。

• ヒルベルト空間
• ストーン-フォンノイマンの定理（英語版）
• 有界作用素

• Pedersen, Gert K. (1989), Analysis now, Springer  (see Chapter 5 "Unbounded operators").
• Reed, Michael; Simon, Barry (1980), Methods of Modern Mathematical Physics, 1: Functional Analysis (revised and enlarged ed.), Academic Press  (see Chapter 8 "Unbounded operators").
• Berezansky, Y.M.; Sheftel, Z.G.; Us, G.F. (1996), Functional analysis, II, Birkhäuser  (see Chapter 12 "General theory of unbounded operators in Hilbert spaces").
• Yoshida, Kôsaku (1980), Functional Analysis (sixth ed.), Springer 
• Brezis, Haïm (1983) (French), Analyse fonctionnelle - Théorie et applications, Paris: Mason