Численные методы линейной алгебры (прикладная линейная алгебра) — это методы приближенного решения задач из области вычислительной математики и линейной алгебры. Целью дисциплины является разработка и анализ алгоритмов для численного решения матричных задач. Наиболее важными задачами являются решение систем линейных алгебраических уравнений и вычисление собственных значений.

Численная линейная алгебра исследует то, как можно использовать матричные операции для создания компьютерных алгоритмов, которые эффективно дают приблизительные ответы на задачи непрерывной математики. Численная линейная алгебра является видом линейной алгебры и представляет собой область численного анализа. Компьютеры используют арифметику с плавающей запятой и не могут точно представлять иррациональные данные, поэтому, когда компьютерный алгоритм применяется к матрице данных, он иногда может увеличить разность^[англ.] между числом, хранящимся в компьютере, и истинным числом, приближением которого оно является. Численная линейная алгебра использует свойства векторов и матриц для разработки эффективных алгоритмов, которые минимизируют ошибку, вносимую компьютером.

Численная линейная алгебра направлена на решение задач непрерывной математики с использованием компьютеров конечной точности, поэтому ее приложения в естественных и общественных науках столь же обширны, как и приложения непрерывной математики. Она часто является фундаментальной частью инженерных и вычислительных проблем, таких как обработка изображений и сигналов, электросвязь, финансовые вычисления^[англ.], материаловедение, структурная биология, интеллектуальный анализ данных, биоинформатика и гидродинамика. Особенно широко используются матричные методы в методах конечных разностей, методах конечных элементов и моделировании дифференциальных уравнений. Отмечая широкое применение численной линейной алгебры, Ллойд Н. Трефетен^[англ.] и Дэвид Бау, III утверждают, что она «столь же фундаментальна для математических наук, как исчисление и дифференциальные уравнения»^[1]:x, хотя это сравнительно небольшая область^[2]. Поскольку многие свойства матриц и векторов также применимы к функциям и операторам, числовую линейную алгебру также можно рассматривать как тип функционального анализа, в котором особое внимание уделяется практическим алгоритмам^[1]:ix.

Основные задачи в численной линейной алгебре включают получение матричных разложений, таких как сингулярное разложение, QR-разложение, LU-разложение или собственное разложение, которые затем можно использовать для решения общих задач линейной алгебры, таких как решение систем линейных уравнений, определение местоположения собственных значений или оптимизация методом наименьших квадратов. Основная задача численной линейной алгебры — разработка алгоритмов, которые не вносят ошибок при применении к реальным данным на компьютере с конечной точностью, часто достигается с помощью итерационных методов^[англ.].

Численная линейная алгебра была разработана Джоном фон Нейманом, Аланом Тьюрингом, Джеймсом Х. Уилкинсоном, Алстоном Скоттом Хаусхолдером^[англ.], Джорджем Форсайтом^[англ.]* и Хайнцем Рутисхаузером^[англ.], для применения самых ранних компьютеров к задачам непрерывной математики, таким как баллистические задачи и задачи на решение системы дифференциальных уравнений в частных производных^[2]. Первая серьезная попытка свести к минимуму вычислительную ошибку при применении алгоритмов к реальным данным была сделана Джоном фон Нейманом и Германом Голдстайном в 1947 году^[3]. Эта область расширялась по мере того, как технологии всё чаще позволяли исследователям решать сложные задачи на чрезвычайно больших высокоточных матрицах, а некоторые численные алгоритмы приобретали известность по мере того, как такие технологии, как параллельные вычисления, позволили применить практический подход к научным проблемам^[2].

Для многих задач прикладной линейной алгебры полезно рассматривать матрицу как объединённый набор векторов-столбцов. Например, при решении линейной системы ${\displaystyle x=A^{-1}b}$, вместо нахождения ${\displaystyle x}$ как умножения ${\displaystyle A^{-1}}$ и ${\displaystyle b}$, лучше представить ${\displaystyle x}$ как вектор коэффициентов в линейном разложении ${\displaystyle b}$ в базисе, образованном столбцами ${\displaystyle A}$^[1]:8. Представление о матрицах как об объединённом наборе столбцов практично для целей матричных алгоритмов, в связи с тем, что матричные алгоритмы часто содержат два вложенных цикла: один по столбцам матрицы ${\displaystyle A}$, а другой по строкам матрицы ${\displaystyle A}$. Например, для матриц ${\displaystyle A^{m\times n}}$ и векторов ${\displaystyle x^{n\times 1}}$ и ${\displaystyle y^{m\times 1}}$, можно использовать разделение столбцов для вычисления ${\displaystyle Ax+y}$ как

for j = 1:n
  for i = 1:m
    y(i) = A(i,j)x(j) + y(i)
  end
end

Сингулярное разложение матрицы ${\displaystyle A^{m\times n}=U\Sigma V^{\ast }}$, где ${\displaystyle U}$ и ${\displaystyle V}$ унитарные матрицы, а ${\displaystyle \Sigma }$ диагональная. Элементы диагональной матрицы ${\displaystyle \Sigma }$ называются сингулярными числами матрицы ${\displaystyle A}$. Так как сингулярные числа являются квадратными корнями из собственных значений матрицы ${\displaystyle AA^{\ast }}$, существует тесная связь между разложением по сингулярным значениям и разложениями по собственным значениям. Это означает, что большинство методов вычисления разложения по сингулярным числам аналогичны методам собственных значений^[1]:36; возможно, самый распространенный метод включает преобразование Хаусхолдера^[1]:253.

QR-разложение матрицы ${\displaystyle A^{m\times n}}$ представляется произведением матрицы ${\displaystyle Q^{m\times m}}$ на ${\displaystyle R^{m\times n}}$ таким, что ${\displaystyle A=QR}$, где ${\displaystyle Q}$ — ортогональная матрица и ${\displaystyle R}$ — верхняя треугольная матрица^{[1]:50,[4]:223}. Два основных алгоритма для вычисления QR-разложения: процесс Грама-Шмидта и преобразование Хаусхолдера. QR-разложение часто используется для задач, связанных с методом наименьших квадратов, и задач на собственные значения (с помощью итеративного QR-алгоритма).

LU-разложение матрицы ${\displaystyle A}$ состоит из нижней треугольной матрицы ${\displaystyle L}$ и верхней треугольной матрицы ${\displaystyle U}$ такими, что ${\displaystyle A=LU}$. Матрица ${\displaystyle U}$ находится с помощью метода Гаусса, которая включает в себя умножения ${\displaystyle A}$ слева на набор матриц ${\displaystyle M_{1},\ldots ,M_{n-1}}$ для формирования ${\displaystyle M_{n-1}\cdots M_{1}A=U}$, откуда ${\displaystyle L=M_{1}^{-1}\cdots M_{n-1}^{-1}}$^{[1]:147[4]:96}.

Спектральное разложение матрицы ${\displaystyle A^{m\times m}=X\Lambda X^{-1}}$, где столбцы ${\displaystyle X}$ — собственные векторы матрицы ${\displaystyle A}$, и ${\displaystyle \Lambda }$ представляет собой диагональную матрицу, диагональные элементы которой — соответствующие собственные значения матрицы ${\displaystyle A}$^[1]:33. Не существует прямого метода нахождения спектрального разложения произвольной матрицы: поскольку невозможно написать программу, которая находит точные корни произвольного многочлена за конечное время, любой алгоритм нахождения собственных значений обязательно должен быть итерационным^[1]:192.

С точки зрения числовой линейной алгебры, метод Гаусса — это процедура разложения матрицы ${\displaystyle A}$ в LU-разложение, которую метод Гаусса выполняет путем умножения ${\displaystyle A}$ слева на последовательность матриц ${\displaystyle L_{m-1}\cdots L_{2}L_{1}A=U}$ до тех пор, пока ${\displaystyle U}$ не станет верхней треугольной, а ${\displaystyle L}$ не станет нижней треугольной, где ${\displaystyle L\equiv L_{1}^{-1}L_{2}^{-1}\cdots L_{m-1}^{-1}}$^[1]:148. Наивные программы для метода Гаусса, как известно, очень вычислительно неустойчивы и дают огромные ошибки при применении к матрицам со многими значащими цифрами^[2]. Самое простое решение — ввести опорный элемент^[англ.], что даёт модифицированный стабильный алгоритм метода Гаусса^[1]:151.

Численная линейная алгебра обычно рассматривает матрицы как объединённый набор векторов-столбцов. Традиционный подход состоит в том, чтобы решить линейную систему ${\displaystyle x=A^{-1}b}$, чтобы получить ${\displaystyle x}$ как произведение ${\displaystyle A^{-1}}$ и ${\displaystyle b}$. Вместо этого численная линейная алгебра интерпретирует ${\displaystyle x}$ как вектор коэффициентов линейного разложения ${\displaystyle b}$ в базисе, образованном столбцами ${\displaystyle A}$^[1]:8.

Для решения систем линейных уравнений могут применяться матричные уравнения. В зависимости от характеристик матрицы ${\displaystyle A}$ и векторов ${\displaystyle x}$ и ${\displaystyle b}$, одни разложения могут быть проще, чем другие. можно использовать множество различных разложений, в зависимости от характеристик матрицы ${\displaystyle A}$ и векторов ${\displaystyle x}$ и ${\displaystyle b}$, что может значительно упростить получение одного разложения по сравнению с другими. Если ${\displaystyle A=QR}$ — QR-разложение матрицы ${\displaystyle A}$, то ${\displaystyle Rx=Q^{\ast }b}$^[1]:54. Если ${\displaystyle A=X\Lambda X^{-1}}$ — спектральное разложение матрицы ${\displaystyle A}$, то мы стремимся найти ${\displaystyle b}$ такой, что ${\displaystyle b=Ax}$, с ${\displaystyle b^{\prime }=X^{-1}b}$ и ${\displaystyle x^{\prime }=X^{-1}x}$. Откуда получаем ${\displaystyle b^{\prime }=\Lambda x^{\prime }}$^[1]:33. Наконец, если ${\displaystyle A=LU}$ — LU-разложение матрицы ${\displaystyle A}$, то ${\displaystyle Ax=b}$ можно решить с помощью треугольных матриц ${\displaystyle Ly=b}$ и ${\displaystyle Ux=y}$^{[1]:147[4]:99}.

Подход, связанный с матричными разложениями, предлагает ряд способов решения линейной системы ${\displaystyle r=b-Ax}$, где мы стремимся минимизировать ${\displaystyle r}$, как в модели линейной регрессии. QR-алгоритм решает эту проблему, сначала определяя ${\displaystyle y=Ax}$, а затем вычисляя тонкое QR-разложенние ${\displaystyle A}$ и переходит к уравнению ${\displaystyle {\widehat {R}}x={\widehat {Q}}^{\ast }b}$. Эта верхнетреугольная система может быть решена относительно ${\displaystyle b}$. Аналогичный алгоритм для решения МНК можно получить при помощи SVD-разложения. Вычисляя тонкое SVD-разложение ${\displaystyle A={\widehat {U}}{\widehat {\Sigma }}V^{\ast }}$, а затем вычисляя вектор ${\displaystyle {\widehat {U}}^{\ast }b}$, мы сводим задачу наименьших квадратов к простой диагональной системе^[1]:84. Тот факт, что решения методом наименьших квадратов могут быть получены с помощью QR-разложения и SVD-разложения, означает, что в дополнение к классическому методу нормальных уравнений^[англ.] решения задач наименьших квадратов, эти задачи также могут быть решены методами, включающими алгоритм Грама-Шмидта и методы Хаусхолдера.

Рассмотрим функцию ${\displaystyle f:X\to Y}$, где ${\displaystyle X}$ — нормированное векторное пространство данных и ${\displaystyle Y}$ — нормированное векторное пространство решений. Для некоторой точки ${\displaystyle x\in X}$ задача называется плохо обусловленной, если малое возмущение в ${\displaystyle x}$ приводит к большому изменению значения ${\displaystyle f(x)}$. Мы можем количественно определить это, определив число обусловленности, которое показывает, насколько хорошо обусловлена проблема. Определим его как

${\displaystyle {\widehat {\kappa }}=\lim _{\delta \to 0}\sup _{\|\delta x\|\leq \delta }{\frac {\|\delta f\|}{\|\delta x\|}}.}$

Неустойчивость — это склонность компьютерных алгоритмов, зависящих от арифметики с плавающей запятой, получать результаты, резко отличающееся от точного математического решения задачи. Когда матрица содержит реальные данные со многими значащими цифрами, многие алгоритмы для решения таких задач, как линейные системы уравнений или оптимизация методом наименьших квадратов, могут давать очень неточные результаты. Создание устойчивых алгоритмов для плохо обусловленных задач — центральная задача численной линейной алгебры. Одним из примеров: устойчивость метода отражения Хаусхолдера делает алгоритм надежным методом решения линейных систем, тогда как неустойчивость метода нормальных уравнений для решения задач наименьших квадратов является причиной для выбора методов матричного разложения, таких как использование SVD-разложения. Некоторые методы разложения матриц могут быть неустойчивыми, но имеют простые модификации, делающие их устойчивыми; например, нестабильный метод Грама-Шмидта, который может легко быть изменён для получения устойчивой модификации Грама-Шмидта^[1]:140. Другая классическая задача числовой линейной алгебры заключается в том, что метод Гаусса нестабилен, но становится устойчивым с введением опорного элемента.

Есть две причины, по которым итерационные алгоритмы — важная часть численной линейной алгебры. Во-первых, многие численные задачи не имеют прямого решения; чтобы найти собственные значения и собственные векторы произвольной матрицы, мы можем использовать только итеративный подход. Во-вторых, безытерационные алгоритмы для произвольной ${\displaystyle m\times m}$ матрицы требуют ${\displaystyle O(m^{3})}$ времени, что неожиданно долго, учитывая, что матрицы содержат только ${\displaystyle m^{2}}$ чисел. Итерационные подходы могут использовать некоторые особенности матриц, чтобы сократить это время. Например, когда матрица разреженная, итеративный алгоритм может пропустить многие шаги, которые обязательно последуют при прямом подходе, даже если они избыточны.

Ядро многих итерационных методов в численной линейной алгебре — это проекция матрицы на более низкое подпространство Крылова более низкой размерности, что позволяет аппроксимировать характеристики матрицы высокой размерности путем итеративного вычисления эквивалентных характеристик подобных матриц, начиная с пространства низкой размерности и последовательного перехода к более высоким измерениям. Когда ${\displaystyle A}$ симметрична, и мы хотим решить линейную задачу ${\displaystyle Ax=b}$, классический итеративный подход — метод сопряжённых градиентов. Если ${\displaystyle A}$ не симметричная, то примерами итерационных решений линейной задачи являются обобщенный метод минимальных невязок (GMRES)^[англ.] и метод сопряжённых градиентов для нормальных уравнений (CGN)^[англ.] для нормальных уравнений. Если ${\displaystyle A}$ симметричная, то для нахождения собственных значений и собственных векторов мы можем использовать алгоритм Ланцоша^[англ.], и если ${\displaystyle A}$ не симметричная, то используется итерация Арнольди.

Некоторые языки программирования используют методы оптимизации численной линейной алгебры и предназначены для реализации её алгоритмов. Эти языки включают MATLAB, Analytica, Maple, и Mathematica. Другие языки программирования, которые явно не предназначены для численной линейной алгебры, имеют библиотеки, которые предоставляют процедуры и оптимизацию; в C и Fortran есть пакеты Basic Linear Algebra Subprograms и LAPACK, в python есть библиотека NumPy, и в Perl есть Perl Data Language. Многие команды численной линейной алгебры в R полагаются на фундаментальные библиотеки, такие как LAPACK^[5].