Норма матрицы

Пусть K — основное поле (обычно K = R или K = C) и ${\displaystyle K^{m\times n}}$ — линейное пространство всех матриц с m строками и n столбцами, состоящих из элементов K. На пространстве матриц задана норма, если каждой матрице ${\displaystyle A\in K^{m\times n}}$ ставится в соответствие неотрицательное действительное число ${\displaystyle \|A\|}$, называемое её нормой, так, что

• ${\displaystyle \|A\|>0}$, если ${\displaystyle A\neq 0}$, и ${\displaystyle \|A\|=0}$, если ${\displaystyle A=0}$.
• ${\displaystyle \|A+B\|\leq \|A\|+\|B\|,\quad A,B\in K^{m\times n}}$.
• ${\displaystyle \|\alpha A\|=|\alpha |\|A\|,\quad \alpha \in K,\quad A\in K^{m\times n}}$^[1].

В случае квадратных матриц (то есть m = n), матрицы можно перемножать не выходя из пространства, и потому нормы в этих пространствах обычно также удовлетворяют свойству субмультипликативности:

• ${\displaystyle \|AB\|\leq \|A\|\|B\|}$ для всех матриц A и B в ${\displaystyle K^{n\times n}}$.

Субмультипликативность может выполняться также и для норм неквадратных матриц, но определённых сразу для нескольких нужных размеров. Именно, если A — матрица ℓ × m, и B — матрица m × n, то A B — матрица ℓ × n.

Важным классом матричных норм являются операторные нормы, также именуемые подчинёнными или индуцированными. Операторная норма однозначно строится по двум нормам, определённым в ${\displaystyle K^{n}}$ и ${\displaystyle K^{m}}$, исходя из того, что всякая матрица m × n представляется линейным оператором из ${\displaystyle K^{n}}$ в ${\displaystyle K^{m}}$. Конкретно,

${\displaystyle {\begin{aligned}\|A\|&=\sup\{\|Ax\|:x\in K^{n},\ \|x\|=1\}\\&=\sup \left\{{\frac {\|Ax\|}{\|x\|}}:x\in K^{n},\ x\neq 0\right\}.\end{aligned}}}$^[2]

При условии согласованного задания норм на пространствах векторов, такая норма является субмультипликативной (см. выше).

• Матричная норма ${\displaystyle \|A\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|}$, подчинённая векторной норме ${\displaystyle \|x\|_{1}=\sum _{i=1}^{n}|x_{i}|}$.
• Матричная норма ${\displaystyle \|A\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|}$, подчинённая векторной норме ${\displaystyle \|x\|_{\infty }=\max \limits _{1\leq i\leq n}|x_{i}|}$.
• Спектральная норма ${\displaystyle \|A\|_{2}=\sup \limits _{\|x\|_{2}=1}\|Ax\|_{2}=\sup \limits _{(x,x)=1}{\sqrt {(Ax,Ax)}}={\sqrt {\lambda _{max}(A^{*}A)}}}$, подчиненная векторной норме ${\displaystyle \|x\|_{2}={\sqrt {\sum _{i=1}^{n}|x_{i}|^{2}}}}$.

Свойства спектральной нормы:

1. Спектральная норма оператора равна максимальному сингулярному числу этого оператора.
2. Спектральная норма нормального оператора равна абсолютному значению максимального по модулю собственного значения этого оператора.
3. Спектральная норма не изменяется при умножении матрицы на ортогональную (унитарную) матрицу.

Существуют нормы матриц, не являющиеся операторными. Понятие неоператорных норм матриц ввёл Ю. И. Любич ^[3] и исследовал Г. Р. Белицкий.

Например, рассмотрим две различные операторные нормы ${\displaystyle \|A\|_{1}}$ и ${\displaystyle \|A\|_{2}}$, например строчную и столбцовую нормы. Образуем новую норму ${\displaystyle \|A\|=\max {(\|A\|_{1},\|A\|_{2})}}$. Новая норма обладает кольцевым свойством ${\displaystyle \|AB\|\leqslant \|A\|\|B\|}$, сохраняет единицу ${\displaystyle \|I\|=1}$ и не является операторной^[4].

Пусть ${\displaystyle (a_{1},\ldots ,a_{n})}$— вектор из столбцов матрицы ${\displaystyle A.}$ Норма ${\displaystyle L_{2,1}}$ по определению равна сумме евклидовых норм столбцов матрицы:

${\displaystyle \Vert A\Vert _{2,1}=\sum _{j=1}^{n}\Vert a_{j}\Vert _{2}=\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{2}\right)^{1/2}}$

Норма ${\displaystyle L_{2,1}}$ может быть обобщена до нормы ${\displaystyle L_{p,q},\;p,q\geqslant 1:}$

${\displaystyle \Vert A\Vert _{p,q}=\left(\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{p}\right)^{q/p}\right)^{1/q}}$

Можно рассматривать ${\displaystyle m\times n}$ матрицу как вектор размера ${\displaystyle mn}$ и использовать стандартные векторные нормы. Например, из нормы ${\displaystyle L_{p,q}}$ при ${\displaystyle p=q}$ получается векторная p-норма:

${\displaystyle \|A\|_{p}=\|\mathrm {vec} (A)\|_{p}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}\right)^{1/p}}$

Эта норма отличается от индуцированной p-нормы ${\displaystyle \|A\|_{p}=\sup \limits _{x\neq 0}{\frac {\|Ax\|_{p}}{\|x\|_{p}}}}$и от p-нормы Шаттена (см. ниже), хотя используется одно и то же обозначение.

Норма Фробениуса, или евклидова норма (для евклидового пространства) представляет собой частный случай p-нормы для p = 2: ${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}}$.

Норма Фробениуса легко вычисляется (по сравнению, например, со спектральной нормой). Обладает следующими свойствами:

• Согласованность: ${\displaystyle \|Ax\|_{2}\leq \|A\|_{F}\|x\|_{2}}$, так как в силу неравенства Коши-Буняковского

${\displaystyle \|Ax\|_{2}^{2}=\sum _{i=1}^{m}\left|\sum _{j=1}^{n}a_{ij}x_{j}\right|^{2}\leq \sum _{i=1}^{m}\left(\sum _{j=1}^{n}|a_{ij}|^{2}\sum _{j=1}^{n}|x_{j}|^{2}\right)=\sum _{j=1}^{n}|x_{j}|^{2}\|A\|_{F}^{2}=\|A\|_{F}^{2}\|x\|_{2}^{2}.}$

• Субмультипликативность: ${\displaystyle \|AB\|_{F}\leq \|A\|_{F}\|B\|_{F}}$, так как ${\displaystyle \|AB\|_{F}^{2}=\sum _{i,j}\left|\sum _{k}a_{ik}b_{kj}\right|^{2}\leq \sum _{i,j}\left(\sum _{k}|a_{ik}||b_{kj}|\right)^{2}\leq \sum _{i,j}\left(\sum _{k}|a_{ik}|^{2}\sum _{k}|b_{kj}|^{2}\right)=\sum _{i,k}|a_{ik}|^{2}\sum _{k,j}|b_{kj}|^{2}=\|A\|_{F}^{2}\|B\|_{F}^{2}}$.
• ${\displaystyle \|A\|_{F}^{2}=\mathop {\rm {tr}} A^{*}A=\mathop {\rm {tr}} AA^{*}}$, где ${\displaystyle \mathop {\rm {tr}} A}$ — след матрицы ${\displaystyle A}$, ${\displaystyle A^{*}}$ — эрмитово-сопряжённая матрица.
• ${\displaystyle \|A\|_{F}^{2}=\rho _{1}^{2}+\rho _{2}^{2}+\dots +\rho _{n}^{2}}$, где ${\displaystyle \rho _{1},\rho _{2},\dots ,\rho _{n}}$ — сингулярные числа матрицы ${\displaystyle A}$.
• ${\displaystyle \|A\|_{F}\geq \|A\|_{2}}$, где ${\displaystyle \|\cdot \|_{2}}$ — спектральная норма.
• ${\displaystyle \|A\|_{F}}$ не изменяется при умножении матрицы ${\displaystyle A}$ слева или справа на ортогональные (унитарные) матрицы^[5].

Норма максимума модуля — другой частный случай p-нормы для p = ∞.

${\displaystyle \|A\|_{\text{max}}=\max\{|a_{ij}|\}.}$

Нормы Шаттена возникают при применении ${\displaystyle p}$-нормы к вектору сингулярных значений матрицы. Если обозначить через ${\displaystyle \sigma _{i}(A)}$ ${\displaystyle i}$-ое сингулярное число матрицы ${\displaystyle A}$ размера ${\displaystyle m\times n}$, то ${\displaystyle p}$-норма Шаттена определяется как

${\displaystyle \|A\|_{p}=\left(\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{p}(A)\right)^{1/p}.}$

Нормы Шаттена обозначаются так же, как индуцированная и векторная ${\displaystyle p}$-нормы, но не совпадают с ними.

Для любого ${\displaystyle p}$ норма Шаттена субмультипликативна и унитарно инвариантна, то есть ${\displaystyle ||AB||_{p}\leq ||A||_{p}||B||_{p}}$ и ${\displaystyle \|A\|_{p}=\|UAV\|_{p}}$ для любых матриц ${\displaystyle A}$ и ${\displaystyle B}$ и любых унитарных матриц ${\displaystyle U}$ и ${\displaystyle V}$.

При ${\displaystyle p=2}$ норма Шаттена совпадает с нормой Фробениуса, при ${\displaystyle p=\infty }$ — со спектральной нормой, а при ${\displaystyle p=1}$ — с ядерной нормой (известной также как следовая норма и ${\displaystyle n}$-норма Ки Фана), которая определяется как

${\displaystyle \|A\|_{1}=\sum _{i=1}^{\min\{m,n\}}\sigma _{i}(A)={\mbox{tr}}\left({\sqrt {A^{*}A}}\right).}$

Ядерная норма является выпуклой оболочкой функции ранга на множестве матриц с единичной спектральной нормой, поэтому она часто используется в задачах оптимизации для нахождения матриц с малым рангом^[6].

Матричная норма ${\displaystyle \|\cdot \|_{ab}}$ на ${\displaystyle K^{m\times n}}$ называется согласованной с нормами ${\displaystyle \|\cdot \|_{a}}$ на ${\displaystyle K^{n}}$ и ${\displaystyle \|\cdot \|_{b}}$ на ${\displaystyle K^{m}}$, если:

${\displaystyle \|Ax\|_{b}\leq \|A\|_{ab}\|x\|_{a}}$

для любых ${\displaystyle A\in K^{m\times n},x\in K^{n}}$. Операторная норма по построению является согласованной с исходной векторной нормой.

Примеры согласованных, но не подчинённых матричных норм:

• Евклидова норма ${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{n}\sum _{j=1}^{m}a_{ij}^{2}}}}$ согласована с векторной нормой ${\displaystyle \|x\|_{2}={\sqrt {\sum _{i=1}^{n}x_{i}^{2}}}}$^[5].
• Норма ${\displaystyle \|A\|=\sum _{i,j=1}^{n}|a_{ij}|}$ согласована с векторной нормой ${\displaystyle \|x\|_{1}=\sum _{i=1}^{n}|x_{i}|}$^[7].

Все нормы в пространстве ${\displaystyle K^{m\times n}}$ эквивалентны, то есть для любых двух норм ${\displaystyle \|.\|_{\alpha }}$ и ${\displaystyle \|.\|_{\beta }}$ и для любой матрицы ${\displaystyle A\in K^{m\times n}}$ верно двойное неравенство:

${\displaystyle C_{1}\|A\|_{\alpha }\leq \|A\|_{\beta }\leq C_{2}\|A\|_{\alpha },}$

где константы ${\displaystyle C_{1}}$ и ${\displaystyle C_{2}}$ не зависят от матрицы ${\displaystyle A}$.

Для ${\displaystyle A\in \mathbb {R} ^{m\times n}}$ справедливы неравенства:

• ${\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}}$,
• ${\displaystyle \|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}}$,
• ${\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }}$,
• ${\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}}$,

где ${\displaystyle \|A\|_{1}}$, ${\displaystyle \|A\|_{2}}$ и ${\displaystyle \|A\|_{\infty }}$ — операторные нормы^[8].

Матричные нормы часто используются при анализе вычислительных методов линейной алгебры. Например, программа решения систем линейных алгебраических уравнений может давать неточный результат, если матрица коэффициентов плохо обусловленная («почти вырожденная»). Для количественной характеристики близости к вырожденности нужно уметь измерять расстояние в пространстве матриц. Такую возможность дают матричные нормы^[9].