범함수 연결이론 (Theory of Functional Connections, TFC)은 범함수 보간법(형상함수, functional interpolation)를 활용하여 개발된 수학적 계산 체계(Mathematical framework)이다. TFC는 제한조건(Constraints)을 포함한 최적화 문제를 동등한 비제약(Unconstrained) 문제로 변환할 수 있는 범함수(Functional)를 도출하는 방법론을 제공한다. 이를통해 TFC는 다양한 수학적 문제, 특히 미분 방정식 (Differential equation)의 해를 구하는 데 적용될 수 있다. 보간법은 프로그램에서의 Internal 또는 Free function 없이 주어진 제한 조건을 항상 만족하는 함수적 표현을 생성하는 기법이다.

TFC의 일반적인 개념을 설명하기위해, ${\displaystyle n}$개의 제약조건이 주어진 일반적인 보간법(Interpolation) 문제를 고려할 수 있다. 이는 미분방정식(Differential equation)과 경계값 문제(Boundary value problem, BVP)로 나타낼 수 있다. 미분방적식과 상관없이, 제약조건은 일치(Consistent)하거나 불일치(Inconsistent)할 수 있다. 예를 들어, ${\displaystyle {\mathcal {D}}:(0,1)\cup (0,1)}$ 영역(Domain) 에서 ${\displaystyle f_{1}(x,0)=1+x}$ 제약조건과 ${\displaystyle f_{2}(0,y)=2-y}$ 제약조건은 공유된 ${\displaystyle (0,0)}$ 지점에서 서로 다른 값으로 불일치 한다.

${\displaystyle n}$개의 제약조건이 일관성을 가지는 경우, 함수는 이러한 제약조건들을 보간하여 단항식(monomials)의 집합, ${\displaystyle \{1,x,x^{2},\cdots ,x^{n-1}\}}$같은 ${\displaystyle n}$개의 선형적으로 독립된 보조 함수(linearly independent support functions)의 형태로 나타낸다. 선택된 보조 함수의 집합은 주어진 제약조건과 일치할 수도 있고, 그렇지 않을 수도 있다. 일관성(Consistency)의 문제는 제약조건, 보간법, 그리고 함수 보간법의 사례를 검토함으로서 해결할 수 있다. 여기에는 경계조건이 전단(shear) 또는 혼합 도함수(Mixed Derivatives)를 포함하는 시나리오도 포함된다.^[1] 예를들면, ${\displaystyle y(-1)=y(+1)=0}$과 ${\displaystyle {\dfrac {dy}{dx}}{\bigg |}_{x=0}=1}$ 같은 제약조건들은 ${\displaystyle \{1,x,x^{2}\}}$와 같은 보조함수를 사용했을때 불일치하는것을 쉽게 확인할수있다. 만약 보조함수들이 제약조건과 일치할경우 일반 보간법 문제를 해결할 수 있으며, 모든 제약조건을 만족시키는 함수인 보간법을 얻을수 있다. 다른 보조함수의 집합을 사용하면 다른종류의 보간함수(Interpolant)의 결과가 나타난다. 보간법 문제가 해결되고 모든 초기의 보간함수가 결정되면, 원칙적으로는 제약조건과 일치한 선형 독립 보조함수의 집합을 개별적으로 수행하여 가능한 모든 보간 함수들이 생성될수있다. 그러나 이 방법은 발생할수있는 보조함수의 집합의 수가 무한하기에 비현실적이다.

이러한 한계는 텍사스 A&M 대학(Texas A&M University)의 다니엘 모타리(Daniele Mortari) 교수가 고안해낸 범함수 보간법을 위한 해석적 방법(Analytical Framework)을 통해 해결되었다.^[2] 이 접근법에서는 주어진 제약조건을 임의의 프로그램 자유함수(Free function) ${\displaystyle g(\mathbf {x} )}$ 표현을 만족시키는 범함수 ${\displaystyle f{\big (}\mathbf {x} ,g(\mathbf {x} ){\big )}}$로 구성되어있다. 제약조건 함수로 불리는 이 범함수는 모든 발생가능한 보간함수를 완벽히 표현한다. ${\displaystyle g(\mathbf {x} )}$를 변경함으로서 불연속적(Discontinuous)이거나 부분적으로 정의된 보간함수를 포함한 보간함수 집합 전체를 생성이 가능하다.

범함수 보간법(Functional Interpolation)이 범함수를 통해 표현된 보간함수 집단을 생성하는동안, 한번의 보간함수 과정에서는 단일 보간함수를 생성한다. 이러한 범함수는 본질적으로 주어진 제약조건을 만족하는 함수의 하위공간을 정의하며, 문제풀이의 공간을 제약조건이 최적화된 문제가 위치한 문제들이 위치한 곳으로 효과적으로 줄인다. 제약조건 최적화(Constrained optimization) 문제들은 범함수들을 사용함으로서 비제약문제(Unconstrained)들로 재구성(Reformulated)될수있다. 이 재구성은 더욱 간단하고 효율적인 해결방법을 제공하고, 종종 정확성(Accuracy)과 견고함(Robustness) 그리고 신뢰성(Reliability)을 증가시킨다. 이러한 맥락에서, 범함수 연결이론(Theory of Functional Connections, TFC)은 해결 과정을 효율적으로 만들기위해 제약조건 문제들을 비제약 문제들로 변경하여 솔루션 제공해주는 체계적인 작업틀을 제공한다.

TFC는 점, 도함수, 적분과 이들의 선형적인 조합을 포함하는 단일변수(Univariate)의 제약조건을 다룬다.^[3] 또한 이 이론은 무한(Infinite)하고 다변수(Multivariate)의 제약조건을 수용하여 확장되며 상미분(Ordinary), 편미분(Partial), 미적분(Integro-differential) 방정식을 푸는데 적용된다. 단일변수의 TFC는 아래의 2개의 형태중 하나로 표현된다:

${\displaystyle {\begin{cases}f{\big (}x,g(x){\big )}=g(x)+\displaystyle \sum _{j=1}^{n}\eta _{j}{\big (}x,g(x){\big )}\,s_{j}(x)\\f{\big (}x,g(x){\big )}=g(x)+\displaystyle \sum _{j=1}^{n}\phi _{j}{\big (}x,\mathbf {s} (x){\big )}\,\rho _{j}{\big (}x,g(x){\big )},\end{cases}}}$

선형적인 제약조건의 수는 ${\displaystyle n}$으로 표현하고, ${\displaystyle g(x)}$는 자유함수(Free function), ${\displaystyle s_{j}(x)}$는 사용자가 정의한 선형 독립 보조함수(Linearly independent support functions)들을 나타낸다. ${\displaystyle \eta _{j}(x,g(x))}$항들은 범함수(Functional)의 계수(Coefficient)이며, ${\displaystyle \phi _{j}(x)}$ 는 각각의 제약을 1과 0의 값으로 나타내는 스위칭(Switching) 함수들이다. 그리고 ${\displaystyle \rho _{j}{\big (}x,g(x){\big )}}$항은 자유함수(Free function)로 제약조건들을 표현하는 전사 범함수(Projection functionals)들이다.

TFC가 어떻게 보간법을 생성하는지 보여주기 위해, 제약조건 ${\displaystyle {\dot {y}}(x_{1})={\dot {y}}_{1}}$과 ${\displaystyle {\dot {y}}(x_{2})={\dot {y_{2}}}}$을 고려하면, 이러한 제약조건들을 만족시키는 보간함수는 다음과 같이

${\displaystyle f_{a}(x)={\dfrac {x(2x_{2}-x)}{2(x_{2}-x_{1})}}\,{\dot {y}}_{1}+{\dfrac {x(x-2x_{1})}{2(x_{2}-x_{1})}}\,{\dot {y}}_{2},}$

로 쉽게 확인가능하다. 이러한 보간법의 특성으로 도함수는

${\displaystyle \delta (x)=g(x)-{\dfrac {x(2x_{2}-x)}{2(x_{2}-x_{1})}}\,{\dot {g}}(x_{1})-{\dfrac {x(x-2x_{1})}{2(x_{2}-x_{1})}}\,{\dot {g}}(x_{2}),}$

${\displaystyle x_{1}}$과 ${\displaystyle x_{2}}$에서 ${\displaystyle g(x)}$함수는 사라진다. 따라서 ${\displaystyle f_{a}(x)}$함수에 ${\displaystyle \delta (x)}$함수를 더함으로서 ${\displaystyle g(x)}$와 상관없이 제약조건들을 여전히 만족하는 범함수를 얻을수있다.

${\displaystyle f{\big (}x,g(x){\big )}=f_{a}(x)+\delta (x)={\dfrac {x(2x_{2}-x)}{2(x_{2}-x_{1})}}\,{\dot {y}}_{1}+{\dfrac {x(x-2x_{1})}{2(x_{2}-x_{1})}}\,{\dot {y}}_{2}+g(x)-{\dfrac {x(2x_{2}-x)}{2(x_{2}-x_{1})}}\,{\dot {g}}(x_{1})-{\dfrac {x(x-2x_{1})}{2(x_{2}-x_{1})}}\,{\dot {g}}(x_{2}),}$

이러한 특성으로 이 범함수는 제약조건 범함수(Constrained functional)로도 불린다. 범함수 ${\displaystyle f{\big (}x,g(x){\big )}}$가 의도한 대로 작동하기 위한 핵심적인 요구사항은 ${\displaystyle {\dot {g}}(x_{1})}$항과 ${\displaystyle {\dot {g}}(x_{2})}$항이 정의되어야 한다. 우선 이 조건이 충족되면, ${\displaystyle g(x)}$의 무한한 유연성(infinite flexibility) 덕분에 범함수 ${\displaystyle f{\big (}x,g(x){\big )}}$는 특정한 제약조건을 넘어 어떠한 임의의의 값을 자유롭게 얻을수 있다. 중요한점으로 이 유연성은 이 문제에서 선택된 특정한 제약조건에 국한되지 않는다는 것이다. 대신에 어떠한 제약조건의 집합에 보편적(Universiality)으로 적용된다. 이러한 보편성은 TFC가 어떻게 범함수 보간을 수행하는지 설명해준다. 주어진 제약조건을 충족하는 동시에 선택된 ${\displaystyle g(x)}$를 통해 다른곳에서 완벽한 자유로운 행동을 허용한다. 본질적으로는 이 예제는 제약조건 범함수 ${\displaystyle f{\big (}x,g(x){\big )}}$가 주어진 제약조건을 만족하는 모든 가능한 함수를 포착하여 넓은 범위의 다양한 보간 문제를 다루는 TFC의 능력과 보편성을 보여주는것을 입증한다.

TFC는 전단형 및 혼합 도함수(mixed derivative)문제, 분수 연산자(fractional operators) 분석,^[4] 곡면 공간(curved space)에서의 경계값 문제(BVP) 측지선(geodesics)에 대한 결정,^[5] 연속성(continuation) 방법들의 기여를 포함한 다양한 응용분야에 확장 및 적용되어왔다.^[6][7] 또한, TFC는 간접 최적 제어(optimal control),^[8][9] 경질 화학 반응속도론(chemical kinetics)^[10]의 모델링 그리고 역학 연구(epidemiological dynamics)에도 적용되었다.^[11] TFC는 천체역학분야로 확정되어 이 분야에서 유명한 경계값 문제(BVP)인 Lambert의 문제가 효율적으로 해결된다.^[12] 또한, 이것은 다른 분야들 중에서 비선형 최적화(nonlinear programming)^[13]과 구조역학(structural mechanics)^[14][15], 복사 전달(radiative transfer)^[16]분야에서 잠재력을 입증했다. 효율적인 무료 파이썬(Python) TFC 툴박스(Toolbox)는 https://github.com/leakec/tfc에서 사용할 수 있다.

주목할 점은 신경망(neural networks)에서의 TFC의 적용이 뛰어난 효율성을 보여준것이다.^[17][18] 특히 고차원의 문제(high-dimensional problems)들을 해결하고 가끔 전통적인 신경망으로 제약조건 제거과정을 해결할때 어려움을 격는것을 물리정보 신경망(physics-informed neural networks)^[19]의 최적화 과정(optimization process)을 통해 성능을 향상시킨다. 이 기능은 계산 효율성과 정확성을 크게 향상시켜 복잡한 문제를 더욱 쉽게 해결할 수 있다. TFC는 동적시스템(dynamical systems)에서 물리적 발견을 위해 물리정보 신경망과 기호적 회기분석(symbolic regression) 기법^[20]과 함께 사용되어 왔다.^[21][22]

언뜻 보기에, TFC와 스펙트럼 방법(spectral methods)은 제약조건 최적화 문제(constrained optimization problems)를 해결하는 접근방식에서 유사하게 보일 수 있다. 그러나 둘사이에는 근본적인 차이가 있다.

• 문제풀이의 표현(Representation of solutions): 스펙트럼 방법(Spectral methods)은 문제풀이를 기저함수(basis functions)의 합으로 나타내는 반면, TFC는 자유함수(Free function)를 기본 함수의 합으로 표현한다. 이러한 차이를 통해 TFC는 분석적으로 제약조건을 충족할 수 있으며, 스펙트럼 방법(Spectral methods)은 제약조건을 추가 데이터로 취급하여 잔차(Residual)에 따라 정확도로 근사한다.
• 경계값 문제에서의 계산적 접근(Computational approach in BVP): 선형 경계값 문제에서는 두 방법의 계산 전략은 상당히 다르다. 스펙트럼 문제들은 경계값 문제를 풀기쉬운 초기값 문제(initial value problem)로 재구성하기 위해 전형적으로 shooting method같은 반복법(iterative techniques)을 사용한다. 반대로, TFC는 선형 최소자승법(least-squares)을 통해 반복절차의 필요성을 우회하는 것으로 문제를 직접 해결한다.

두 방법 모두 잔차벡터(Residual vector)가 선택된 기저함수(basis functions)들과 직교하도록 보장하는 갈라킨 법(Galerkin method)와 잔차벡터(Residual vector)의 노름공간(Norm)을 최소화하는 선점법(Collocation method) 둘중 하나를 사용하여 최적화를 수행할수있다.

라그랑주 승수법(Lagrange multipliers)은 최적화 문제(optimization problem)에서 제약조건들을 두기 위해 널리 사용되는 접근 방식이다. 이 기술은 제약조건들의 시행간 계산하기위한 승수(multipliers)로 불리는 추가 변수(variables)를 사용한다. 이러한 승수의 계산은 어떤 경우에는 간단하지만, 다른 경우에은 어렵거나 실질적으로 불가능할 수 있으며, 이것은 문제에 상당한 복잡성을 더할 수 있다. 이와 대조적으로, TFC는 새로운 변수를 추가하지 않으면서 문제풀이의 어려움에 직면하지않고 제약조건의 범함수의 도출을 가능하게 한다. 그러나 라그랑주 승수법은 부등식 제약조건(inequality constraints)을 다루는 장점을 가지고 있고 이것은 현재 TFC에서 부족한 능력이다.

두 접근법의 주목할 만한 한계는 특히 비 볼록함수(non-convex) 문제의 맥락속에서 보장된 전역적 최적해(global optimum)가 아닌 국소 최적해(local optima)에 해당하는 솔루션을 생성하는 경향이 있다. 결과적으로, 획득한 문제해결 방법의 질과 전역적인 타당성을 평가하고 확인하기위해 추가의 검증절차 또는 대체 방법이 필요할수도 있다. 요약하자면, TFC가 라그랑주 승수법을 완전히 대체하지는 않지만, 제약조건이 등식으로만 제한되면서 승수 계산이 지나치게 복잡하거나 불가능해지는 경우 강력한 대안이 될수있다.