Пусть в линейном пространстве $ \mathbb V_{} $ определена функция, которая ставит в соответствие каждому вектору $ X \subset \mathbb V $ вещественное число, называемое нормой вектора¹⁾ $ X_{} $, и обозначаемое $ \| X \| $; при этом функция подчиняется аксиомам:

1. если $ \| X \|= 0 $, то $ X=\mathbb O $;

2. $ \| X + Y \| \le \|X \| + \|Y \| $ для $ \forall \{ X, Y \} \subset \mathbb V $ (неравенство треугольника);

3. $ \| \alpha \, X \|=|\alpha |\cdot \| X \| $ для $ \forall X \in \mathbb V $ и $ \forall \alpha \in \mathbb R $ если пространство вещественно и $ \forall \alpha \in \mathbb C $ если оно комплексно (однородность нормы).

Пространство $ \mathbb V $ с введенной в нем нормой называется нормированным (линейным) пространством.

Из этих аксиом вытекает следующее свойство нормы, которое часто включают в состав аксиом.

Теорема. Любая норма должна быть неотрицательной функцией: $$ \| X \| \ge 0 \quad npu \quad \forall X\in \mathbb V \, . $$

Доказательство. Действительно, из аксиомы 3 вытекает, что норма нулевого вектора должна быть равна $ 0_{} $: $$ \| \mathbb O \| = \| 0 \cdot \mathbb O \|= 0 \| \mathbb O \| = 0 \, . $$ Из аксиом 2 и 3 тогда следует: $$ 0= \| \mathbb O \| = \| X-X \|\le \| X\| +\|-X \|= 2 \|X \| \quad npu \quad \forall X \in \mathbb V . $$ ♦

В широком классе вещественных пространств норма может быть введена естественным образом.

Теорема. Любое евклидово пространство $ \mathbb E $ является нормированным пространством.

Действительно введем в пространстве $ \mathbb E $ норму как длину вектора: $$ \| X \| = \sqrt{\langle X, X \rangle } \, . $$ Аксиомы скалярного произведения гарантируют выполнение аксиом нормы.

Тем не менее, норму можно вводить и независимо от скалярного произведения.

В пространстве $ \mathbb R^n $ вещественных векторов-строк $ X=(x_1,\dots,x_n) $ евклидова норма определяется $$ \|X\|_2 = \sqrt{x_1^2+\dots+ x_n^2} \, . $$ Это определение можно считать частным случаем из целого класса гёльдеровых норм $$ \|X\|_p=\left( |x_1|^p+\dots+|x_n|^p \right)^{1/p} $$ при $ p \in \mathbb N $. Эта норма называется также $ p $-нормой или $ \ell_p $-нормой. Она, очевидно может быть распространена и на случай комплексного пространства $ \mathbb C^n $.

Норма $ \ell_1 $ $$ \|X\|_1 = |x_1|+\dots+|x_n| $$ называется еще манхэттенской нормой.

При переходе в $ p $-норме к пределу при $ p \to + \infty $ получаем бесконечную норму $$ \|X\|_{\infty}= \max_{j\in \{1,\dots,n\}} |x_j| \, . $$

Пример. Для $ X=(1,-2,3,4) $ имеем:

$$ \|X\|_1=10,\ \|X\|_2=\sqrt{30} \approx 5.477226, \ \|X\|_3=\sqrt[3]{100} \approx 4.641588, \dots, \|X\|_{\infty}=4 \, . $$

Различные способы задания нормы в одном и том же линейном пространстве порождают различные формы окрестности вектора (точки) этого пространства. Для примера изобразим $ 1 $-окрестность начала координат в $ \mathbb R^2 $ (``единичный круг''):

А вот при $ 0<p<1 $ и $ n>1 $ формула $ \|X\|_p $ норму не задает! Почему? — Посмотрите на форму астроиды.

Теорема. Любая норма является выпуклой функцией на любом выпуклом подмножестве пространства $ \mathbb V $.

Действительно, на основании аксиом 2 и 3 для нормы выполняется неравенство Йенсена.

В пространстве $ \mathbb P_n $ полиномов с вещественными коэффициентами степеней, не превышающих $ n $ скалярное произведение может определяться как посредством скаярного произведения векторов коэффициентов, так и формулой $$ \langle f(x), g(x) \rangle = \int_{a}^b f(t)g(t) d\,t $$ при некоторых фиксированных вещественных константах $ a_{} $ и $ b_{} $, $ a_{}<b $. Последний случай порождает определение нормы полинома $$ \|f(x)\| = \left(\int_{a}^b f^2(t) d\,t \right)^{1/2} \, . $$ Эта последняя распространяется на бесконечномерное пространство функций, которое обозначается $ \mathbf L^2 $.

Любую матрицу $ A $ порядка $ m \times n $ с вещественными или комплексными элементами можно векторизовать, т.е. считать ее вектором из $ \mathbb R^{mn} $ или из $ \mathbb C^{mn} $. Любая норма, введенная в этих пространствах, породит и норму в линейном пространстве матриц.

Пример 1. Для матрицы $ A\in \mathbb C^{m\times n} $ евклидова норма или норма Фробениуса вводится формулой:

$$\| A \|_F = \sqrt{\sum_{j,k} |a_{jk}|^2} \ .$$ С использованием операции вычисления следа матрицы, эту формулу для вещественных матриц можно переписать в виде $$ \| A \|_F = \sqrt{ \operatorname{Sp}_{}\, (A \cdot A^{^{\top}})}= \sqrt{ \operatorname{Sp}_{}\, (A^{^{\top}}A)} \, . $$ ♦

Теорема. Евклидова норма вещественной матрицы не меняется при умножении этой матрицы на произвольную ортогональную.

Доказательство. Имеем: $$ \|A \|_F= \operatorname{Sp}_{}\, (A \cdot A^{^{\top}}) \, . $$ Пусть $ Q \in \mathbb R^{m\times m} $ — ортогональная матрица, тогда $$ \|QA \|_F= \operatorname{Sp}_{}\, (QA \cdot A^{^{\top}} Q^{^{\top}}) = $$ и на основании свойства следа $ \operatorname{Sp}(A_1 A_2)=\operatorname{Sp} (A_2 A_1) $ для квадратных матриц $ A_1 $ и $ A_2 $: $$ = \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} Q^{^{\top}}Q) = \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} E) = \|A \|_F $$ поскольку матрица $ Q $ — ортогональная. Аналогично доказывается утверждение теоремы при умножении матрицы $ A $ справа на ортогональную матрицу $ P \in \mathbb R^{n\times n} $. ♦

Аналоги гёльдеровых норм $ \| \cdot \|_1 $ и $ \| \cdot \|_{\infty} $ кажутся очевидными: $$ \sum_{j,k} |a_{jk}| \quad u \quad \max_{j,k} |a_{jk}| $$ соответственно. Однако по некоторым соображениям, приведенным ниже, эти аналоги вводят другими способами.

Суммируем модули элементов матрицы по столбцам и выбираем максимальное из полученных чисел: $$ \| A \|_1 = \max_{k\in \{1,\dots,n\}} \sum_{j=1}^m |a_{jk}| \, . $$ Для матрицы, состоящей из одного столбца, получим норму $ \| \cdot \|_1 $ в $ \mathbb C^m $.

Теперь суммируем модули элементов матрицы по строкам и выбираем максимальное из полученных чисел: $$ \displaystyle \| A \|_{\infty} = \max_{j\in \{1,\dots,m\}} \sum_{k=1}^n |a_{jk}| \, . $$ Для матрицы, состоящей из одного столбца, получим норму $ \| \cdot \|_{\infty} $ в $ \mathbb C^m $.

Для матриц имеется еще одна операция: их можно умножать. Ввести эту операцию можно разными способами, но мы ограничимся самым распространенным. При умножении матрицы на столбец: $$ A_{m\times n} X_{n\times 1} $$ получаем вектор-столбец $ Y_{m\times 1} $. Как связаны между собой нормы матрицы $ A $ и столбцов $ X $ и $ Y $? В каждом из этих пространств $ \mathbb C^{m\times n} $, $ \mathbb C^{n} $ и $ \mathbb C^{m} $ нормы могут быть определены произвольным образом. Желательно их как-то согласовать. С этой целью (а также имея в виду некоторые приложения) для норм матриц вводят еще одну аксиому (в дополнение к основным аксиомам):

4. Для произвольных матриц $ A $ и $ B $, для которых определено произведение $ A \cdot B $, должно быть выполнено неравенство $$ \|A \cdot B \| \le \|A \| \cdot \| B \| \, . $$

Пример 2. Эта аксиома сразу же блокирует желание выбора в качестве кандидата нормы $ \max_{j,k} |a_{jk}| $:

$$ \left( \begin{array}{cc} 1 & 1 \\ 0 & 1 \end{array} \right)^2 = \left( \begin{array}{cc} 1 & 2 \\ 0 & 1 \end{array} \right) \, . $$ ♦

Применение аксиомы 4 к произведению матрицы на столбец приводит к следующему: $$ \|AX\|\le \|A \| \cdot \|X\| \quad \Rightarrow \quad \frac{\|AX\|}{\|X\|} \le \|A\| \quad npu \quad \forall X \in \mathbb C^n, X\ne \mathbb O_{n\times 1} \, . $$ При заданных нормах столбцов в $ \mathbb C^n $ и $ \mathbb C^m $ получили условие на норму матрицы. А теперь зададим эту норму условием минимально допустимой жёсткости $$ \|A\|=\max_{X\ne \mathbb O} \frac{\|AX\|}{\|X\|} $$ и посмотрим к чему это приведет (если приведет — достижимость $ \max $ еще нужно доказывать!). Забегая вперед, дадим определение: таким образом вводимая норма матрицы $ A $ называется матричной нормой, подчиненной векторным нормам в $ \mathbb C^n $ и $ \mathbb C^m $ (или индуцированной²⁾ этими последними).

Пример 3. В пространстве $ \mathbb R^{3\times 2} $ рассмотрим норму $ \| \cdot \|_1 $. Пусть, для определенности, для ненулевой матрицы $ A $ справедливо:

$$ \| A\|_{1}= \max (|a_{11}|+|a_{21}|+|a_{31}|, |a_{12}|+|a_{22}|+|a_{32}| )=|a_{11}|+|a_{21}|+|a_{31}| \, . $$ Имеем для любого ненулевого вектора $ (x_1,x_2) \subset \mathbb R^2 $:

$$ L(x_1,x_2)=\frac{|a_{11}x_1+a_{12}x_2|+|a_{21}x_1+a_{22}x_2|+|a_{31}x_1+a_{32}x_2|}{|x_1|+ |x_2| }\le $$ $$ \le \frac{|a_{11}|\cdot |x_1|+|a_{12}| \cdot |x_2|+|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|+|a_{31}| \cdot|x_1|+|a_{32}| \cdot |x_2|}{|x_1|+ |x_2| }= $$ $$ =\frac{(|a_{11}|+|a_{21}|+|a_{31}|)|x_1|+(|a_{12}|+|a_{22}|+|a_{32}|)|x_2|}{|x_1|+ |x_2|} $$ $$ \le \frac{(|a_{11}|+|a_{21}|+|a_{31}|)(|x_1|+|x_2|)}{|x_1|+ |x_2|}=|a_{11}|+|a_{21}|+|a_{31}| \, . $$ В то же время, при $ x_1 \ne 0 $ имеем $$ L(x_1,0)=|a_{11}|+|a_{21}|+|a_{31}| , $$ т.е. $ \max L(x_1,x_2) $ достижим. Матричная норма $ \| \cdot \|_{1} $ является подчиненной для норм $ \| \cdot \|_{1} $, введенных в пространствах векторов-столбцов $ \mathbb R^2 $ и $ \mathbb R^3 $. ♦

Пример 4. В пространстве $ \mathbb R^{3\times 2} $ рассмотрим норму $ \| \cdot \|_{\infty} $. Пусть, для определенности, для ненулевой матрицы $ A $ справедливо:

$$ \| A\|_{\infty}= \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, . $$ Имеем для любого ненулевого вектора $ (x_1,x_2) \subset \mathbb R^2 $:

$$ \frac{\max(|a_{11}x_1+a_{12}x_2|,|a_{21}x_1+a_{22}x_2|,|a_{31}x_1+a_{32}x_2|)}{\max( |x_1|, |x_2|) }\le $$ $$ \le \frac{\max(|a_{11}|\cdot |x_1|+|a_{12}|\cdot |x_2|,|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|,|a_{31}|\cdot |x_1|+|a_{32}|\cdot| x_2|)}{\max( |x_1|, |x_2|) }\le $$ $$ \le \frac{\max((|a_{11}|+|a_{12}|)\max( |x_1|, |x_2|),(|a_{21}|+|a_{22}|)\max( |x_1|, |x_2|),|a_{31}|+|a_{32}|)\max( |x_1|, |x_2|))}{\max( |x_1|, |x_2|) }\le $$ $$ \le \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, . $$ С другой стороны, для $ \widetilde x_1=\operatorname{sign} (a_{11}), \widetilde x_2=\operatorname{sign} (a_{12}) $ получаем $$ \max ( |a_{11}\widetilde x_1+a_{12} \widetilde x_2|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) = $$ $$ = \max ( |a_{11}|+|a_{12}|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) \ge |a_{11}|+|a_{12}| \, . $$ Из двух выведенных неравенств следует, что матричная норма $ \| \cdot \|_{\infty} $ является подчиненной для норм $ \| \cdot \|_{\infty} $, введенных в пространствах векторов-столбцов $ \mathbb R^2 $ и $ \mathbb R^3 $. ♦

А вот с евклидовыми нормами ситуация оказывается посложнее…

Пример 5. Пусть в пространствах векторов-столбцов $ \mathbb R^{m} $ и $ \mathbb R^{n} $ заданы евклидовы нормы

$$ \| (y_1,\dots,y_m)^{\top} \|=\sqrt{y_1^2+\dots+y_m^2},\ \| (x_1,\dots,x_n)^{\top} \|=\sqrt{x_1^2+\dots+x_n^2} \, . $$ Тогда $$ \|AX\|_{2} = \sqrt{X^{^{\top}}A^{^{\top}} A X} $$ и $$ \frac{\|AX\|_2}{\|X\|_2}=\sqrt{\frac{X^{^{\top}}A^{^{\top}} A X}{X^{^{\top}}X}} \, . $$ Матрица $ A^{^{\top}} A $ является симметричной и положительно полуопределенной, т.е. все ее собственные числа неотрицательны. По доказанному в ☞ ПУНКТЕ, подкоренное выражение имеет максимальное значение равное максимальному собственному числу матрицы $ A^{^{\top}} A $. В результате, матричную спектральную норму³⁾ $ \|\cdot \|_2 $ определяют равенством: $$ \|A\|_2=\sigma_{\max} $$ где $ \sigma_{\max} $ означает максимальное сингулярное число матрицы $ A $.

Для матрицы $ A $, состоящей из одного столбца $ A=(a_1,\dots,a_m)^{^{\top}} $, матрица $ A^{^{\top}} A =a_1^2+\dots+a_m^2 $. Следовательно, $$ \sigma_{\max} =\sqrt{a_1^2+\dots+a_m^2} \ , $$ и спектральная матричная норма совпадает с евклидовой нормой в $ \mathbb R^m $.

Таким образом, спектральная матричная норма $ \| \cdot \|_2 $ оказывается подчиненной евклидовой векторной норме $ \| \cdot \|_2 $. ♦

В терминах сингулярных чисел матрицы $ A $ норму Фробениуса $ \| A \|_{F} $ из примера $ 1 $ можно записать в виде $$ \| A \|_{F}= \sqrt{\sum_{j} \sigma_j^2} \ , $$ где суммирование идет по квадратам всех сингулярных чисел матрицы $ A $. Из этого замечания следуют очевидные неравенствв: $$ \| A \|_2 \le \| A \|_{F} \le \sqrt{\mathfrak r} \| A \|_2 \quad npu \ \forall A,\ \operatorname{rank} A = \mathfrak r \, . $$

Доказать, что равенство в левом неравенстве достигается тогда и только тогда когда $ \mathfrak r \le 1 $.

Пример 6. Для

$$ A= \left(\begin{array}{rr} 3 & -2 \\ 1 & 1 \\ -5 & 1 \end{array} \right) $$ имеем

$$ \|A\|_F= \sqrt{9+4+1+1+25+1}=\sqrt{41} \approx 6.4031, \ $$ $$ \|A\|_1 = \max \{3+1+5, 4+1+1\} = 9, \ \|A\|_{\infty} = \max \{3+2, 1+1, 5+1\}=6 $$ Для нахождения $ \|A\|_2 $ вычисляем $$ A^{^{\top}} A = \left( \begin{array}{rr} 35 & -10 \\ -10 & 6 \end{array} \right) \, . $$ Характеристический полином $ \det (A^{^{\top}} A-\lambda E) \equiv \lambda^2-41\, \lambda+ 110 $ имеет корни $$ \lambda_1=\frac{41+\sqrt{1241}}{2}, \lambda_2=\frac{41-\sqrt{1241}}{2} $$ и $ \|A\|_2 =\sqrt{\lambda_1} \approx 6.173647 $. ♦

Верно ли равенство $ \|A^{-1}\|= \|A\|^{-1} $ для квадратной невырожденной матрицы $ A $?

Теорема [Шур]. Для спектра $ \{\lambda_1,\dots,\lambda_n\} $ квадратной матрицы $ A \in \mathbb R^{n\times n} $ имеют место неравенства

$$ \sqrt{\sum_{j=1}^n |\lambda_j|^2} \le \|A\|_{_F} ; $$

$$ \sqrt{\sum_{j=1}^n | \mathfrak{Re} (\lambda_j)|^2} \le \left\|\frac{1}2(A+A^{\top})\right\|_{_F} ; $$

$$ \sqrt{\sum_{j=1}^n | \mathfrak{Im} (\lambda_j)|^2} \le \left\|\frac{1}2(A-A^{\top})\right\|_{_F} . $$

Гантмахер Ф.Р. Теория матриц. 4-е изд. М.Наука. 1988.

Беллман Р. Введение в теорию матриц. М.Наука. 1969.