Для понимания материалов настоящего раздела рекомендуется ознакомиться с разделом ((:linear_space ЛИНЕЙНОЕ ПРОСТРАНСТВО)) . == Нормированное пространство == ~~TOC~~ === Определения == Пусть в линейном пространстве $ \mathbb V_{} $ определена функция, которая ставит в соответствие каждому вектору $ X \subset \mathbb V $ вещественное число, называемое **нормой вектора**[[(//англ.//) norm]] $ X_{} $, и обозначаемое $ \| X \| $; при этом функция подчиняется аксиомам: 1. если $ \| X \|= 0 $, то $ X=\mathbb O $; 2. $ \| X + Y \| \le \|X \| + \|Y \| $ для $ \forall \{ X, Y \} \subset \mathbb V $ (**неравенство треугольника**); 3. $ \| \alpha \, X \|=|\alpha |\cdot \| X \| $ для $ \forall X \in \mathbb V $ и $ \forall \alpha \in \mathbb R $ если пространство вещественно и $ \forall \alpha \in \mathbb C $ если оно комплексно (**однородность нормы**). Пространство $ \mathbb V $ с введенной в нем нормой называется **нормированным (линейным) пространством**. Из этих аксиом вытекает следующее свойство нормы, которое часто включают в состав аксиом. !!Т!! **Теорема.** //Любая норма должна быть неотрицательной функцией//: $$ \| X \| \ge 0 \quad npu \quad \forall X\in \mathbb V \, . $$ **Доказательство.** Действительно, из аксиомы 3 вытекает, что норма нулевого вектора должна быть равна $ 0_{} $: $$ \| \mathbb O \| = \| 0 \cdot \mathbb O \|= 0 \| \mathbb O \| = 0 \, . $$ Из аксиом 2 и 3 тогда следует: $$ 0= \| \mathbb O \| = \| X-X \|\le \| X\| +\|-X \|= 2 \|X \| \quad npu \quad \forall X \in \mathbb V . $$ ♦ В широком классе вещественных пространств норма может быть введена естественным образом. !!Т!! **Теорема.** //Любое ((:euclid_space евклидово пространство))// $ \mathbb E $ //является нормированным пространством//. Действительно введем в пространстве $ \mathbb E $ норму как ((:euclid_space#свойства длину вектора)): $$ \| X \| = \sqrt{\langle X, X \rangle } \, . $$ ((euclid_space#определения Аксиомы скалярного произведения)) гарантируют выполнение аксиом нормы. Тем не менее, норму можно вводить и независимо от скалярного произведения. Нормированные пространства включают в себя евклидовы пространства, но не сводятся к последним. === Примеры == В пространстве $ \mathbb R^n $ вещественных векторов-строк $ X=(x_1,\dots,x_n) $ **евклидова норма** определяется $$ \|X\|_2 = \sqrt{x_1^2+\dots+ x_n^2} \, . $$ Это определение можно считать частным случаем из целого класса **гёльдеровых норм** $$ \|X\|_p=\left( |x_1|^p+\dots+|x_n|^p \right)^{1/p} $$ при $ p \in \mathbb N $. Эта норма называется также $ p $-нормой или $ \ell_p $-нормой. Она, очевидно может быть распространена и на случай комплексного пространства $ \mathbb C^n $. Норма $ \ell_1 $ $$ \|X\|_1 = |x_1|+\dots+|x_n| $$ называется еще **манхэттенской нормой**. При переходе в $ p $-норме к пределу при $ p \to + \infty $ получаем бесконечную норму $$ \|X\|_{\infty}= \max_{j\in \{1,\dots,n\}} |x_j| \, . $$ !!П!! **Пример.** Для $ X=(1,-2,3,4) $ имеем: $$ \|X\|_1=10,\ \|X\|_2=\sqrt{30} \approx 5.477226, \ \|X\|_3=\sqrt[3]{100} \approx 4.641588, \dots, \|X\|_{\infty}=4 \, . $$ Различные способы задания нормы в одном и том же линейном пространстве порождают различные формы окрестности вектора (точки) этого пространства. Для примера изобразим $ 1 $-окрестность начала координат в $ \mathbb R^2 $ (``единичный круг''): {{ norm_123i_1.png |}} !!?!! А вот при $ 01 $ формула $ \|X\|_p $ норму не задает! Почему? --- Посмотрите на форму ((:dets:discrim#огибающая астроиды)). !!Т!! **Теорема.** //Любая норма является выпуклой функцией на любом выпуклом подмножестве пространства// $ \mathbb V $. Действительно, на основании аксиом 2 и 3 для нормы выполняется ((:polynomialm#выпуклость неравенство Йенсена)). В пространстве $ \mathbb P_n $ полиномов с вещественными коэффициентами степеней, не превышающих $ n $ скалярное произведение ((:euclid_space#определения может определяться)) как посредством скаярного произведения векторов коэффициентов, так и формулой $$ \langle f(x), g(x) \rangle = \int_{a}^b f(t)g(t) d\,t $$ при некоторых фиксированных вещественных константах $ a_{} $ и $ b_{} $, $ a_{} ♦ !!Т!! **Теорема.** //Евклидова норма вещественной матрицы не меняется при умножении этой матрицы на произвольную ((:algebra2:ort_matrix#ортогональная_матрица ортогональную)).// **Доказательство.** Имеем: $$ \|A \|_F= \operatorname{Sp}_{}\, (A \cdot A^{^{\top}}) \, . $$ Пусть $ Q \in \mathbb R^{m\times m} $ --- ортогональная матрица, тогда $$ \|QA \|_F= \operatorname{Sp}_{}\, (QA \cdot A^{^{\top}} Q^{^{\top}}) = $$ и на основании свойства следа $ \operatorname{Sp}(A_1 A_2)=\operatorname{Sp} (A_2 A_1) $ для квадратных матриц $ A_1 $ и $ A_2 $: $$ = \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} Q^{^{\top}}Q) = \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} E) = \|A \|_F $$ поскольку матрица $ Q $ --- ортогональная. Аналогично доказывается утверждение теоремы при умножении матрицы $ A $ __справа__ на ортогональную матрицу $ P \in \mathbb R^{n\times n} $. ♦ Аналоги ((#примеры гёльдеровых норм)) $ \| \cdot \|_1 $ и $ \| \cdot \|_{\infty} $ кажутся очевидными: $$ \sum_{j,k} |a_{jk}| \quad u \quad \max_{j,k} |a_{jk}| $$ соответственно. Однако по некоторым соображениям, приведенным ниже, эти аналоги вводят другими способами. Суммируем модули элементов матрицы по столбцам и выбираем максимальное из полученных чисел: $$ \| A \|_1 = \max_{k\in \{1,\dots,n\}} \sum_{j=1}^m |a_{jk}| \, . $$ Для матрицы, состоящей из одного столбца, получим норму $ \| \cdot \|_1 $ в $ \mathbb C^m $. Теперь суммируем модули элементов матрицы по строкам и выбираем максимальное из полученных чисел: $$ \displaystyle \| A \|_{\infty} = \max_{j\in \{1,\dots,m\}} \sum_{k=1}^n |a_{jk}| \, . $$ Для матрицы, состоящей из одного столбца, получим норму $ \| \cdot \|_{\infty} $ в $ \mathbb C^m $. Для матриц имеется еще одна операция: их можно умножать. Ввести эту операцию можно разными способами, но мы ограничимся ((:algebra2#умножение_матриц самым распространенным)). При умножении матрицы на столбец: $$ A_{m\times n} X_{n\times 1} $$ получаем вектор-столбец $ Y_{m\times 1} $. Как связаны между собой нормы матрицы $ A $ и столбцов $ X $ и $ Y $? В каждом из этих пространств $ \mathbb C^{m\times n} $, $ \mathbb C^{n} $ и $ \mathbb C^{m} $ нормы могут быть определены произвольным образом. Желательно их как-то согласовать. С этой целью (а также имея в виду некоторые приложения) для норм матриц вводят еще одну аксиому (в дополнение к ((#определения основным аксиомам))): 4. Для произвольных матриц $ A $ и $ B $, для которых определено произведение $ A \cdot B $, должно быть выполнено неравенство $$ \|A \cdot B \| \le \|A \| \cdot \| B \| \, . $$ !!П!! **Пример 2.** Эта аксиома сразу же блокирует желание выбора в качестве кандидата нормы $ \max_{j,k} |a_{jk}| $: $$ \left( \begin{array}{cc} 1 & 1 \\ 0 & 1 \end{array} \right)^2 = \left( \begin{array}{cc} 1 & 2 \\ 0 & 1 \end{array} \right) \, . $$ ♦ Применение аксиомы 4 к произведению матрицы на столбец приводит к следующему: $$ \|AX\|\le \|A \| \cdot \|X\| \quad \Rightarrow \quad \frac{\|AX\|}{\|X\|} \le \|A\| \quad npu \quad \forall X \in \mathbb C^n, X\ne \mathbb O_{n\times 1} \, . $$ При заданных нормах столбцов в $ \mathbb C^n $ и $ \mathbb C^m $ получили условие на норму матрицы. А теперь зададим эту норму условием //минимально допустимой жёсткости// $$ \|A\|=\max_{X\ne \mathbb O} \frac{\|AX\|}{\|X\|} $$ и посмотрим к чему это приведет (если приведет --- достижимость $ \max $ еще нужно доказывать!). Забегая вперед, дадим определение: таким образом вводимая норма матрицы $ A $ называется матричной **нормой**, **подчиненной** векторным нормам в $ \mathbb C^n $ и $ \mathbb C^m $ (или **индуцированной**[[(//англ.//) Matrix norm induced by a vector norm]] этими последними). !!П!! **Пример 3.** В пространстве $ \mathbb R^{3\times 2} $ рассмотрим норму $ \| \cdot \|_1 $. Пусть, для определенности, для ненулевой матрицы $ A $ справедливо: $$ \| A\|_{1}= \max (|a_{11}|+|a_{21}|+|a_{31}|, |a_{12}|+|a_{22}|+|a_{32}| )=|a_{11}|+|a_{21}|+|a_{31}| \, . $$ Имеем для любого ненулевого вектора $ (x_1,x_2) \subset \mathbb R^2 $: $$ L(x_1,x_2)=\frac{|a_{11}x_1+a_{12}x_2|+|a_{21}x_1+a_{22}x_2|+|a_{31}x_1+a_{32}x_2|}{|x_1|+ |x_2| }\le $$ $$ \le \frac{|a_{11}|\cdot |x_1|+|a_{12}| \cdot |x_2|+|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|+|a_{31}| \cdot|x_1|+|a_{32}| \cdot |x_2|}{|x_1|+ |x_2| }= $$ $$ =\frac{(|a_{11}|+|a_{21}|+|a_{31}|)|x_1|+(|a_{12}|+|a_{22}|+|a_{32}|)|x_2|}{|x_1|+ |x_2|} $$ $$ \le \frac{(|a_{11}|+|a_{21}|+|a_{31}|)(|x_1|+|x_2|)}{|x_1|+ |x_2|}=|a_{11}|+|a_{21}|+|a_{31}| \, . $$ В то же время, при $ x_1 \ne 0 $ имеем $$ L(x_1,0)=|a_{11}|+|a_{21}|+|a_{31}| , $$ т.е. $ \max L(x_1,x_2) $ достижим. Матричная норма $ \| \cdot \|_{1} $ является подчиненной для норм $ \| \cdot \|_{1} $, введенных в пространствах векторов-столбцов $ \mathbb R^2 $ и $ \mathbb R^3 $. ♦ !!П!! **Пример 4.** В пространстве $ \mathbb R^{3\times 2} $ рассмотрим норму $ \| \cdot \|_{\infty} $. Пусть, для определенности, для ненулевой матрицы $ A $ справедливо: $$ \| A\|_{\infty}= \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, . $$ Имеем для любого ненулевого вектора $ (x_1,x_2) \subset \mathbb R^2 $: $$ \frac{\max(|a_{11}x_1+a_{12}x_2|,|a_{21}x_1+a_{22}x_2|,|a_{31}x_1+a_{32}x_2|)}{\max( |x_1|, |x_2|) }\le $$ $$ \le \frac{\max(|a_{11}|\cdot |x_1|+|a_{12}|\cdot |x_2|,|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|,|a_{31}|\cdot |x_1|+|a_{32}|\cdot| x_2|)}{\max( |x_1|, |x_2|) }\le $$ $$ \le \frac{\max((|a_{11}|+|a_{12}|)\max( |x_1|, |x_2|),(|a_{21}|+|a_{22}|)\max( |x_1|, |x_2|),|a_{31}|+|a_{32}|)\max( |x_1|, |x_2|))}{\max( |x_1|, |x_2|) }\le $$ $$ \le \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, . $$ С другой стороны, для $ \widetilde x_1=\operatorname{sign} (a_{11}), \widetilde x_2=\operatorname{sign} (a_{12}) $ получаем $$ \max ( |a_{11}\widetilde x_1+a_{12} \widetilde x_2|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) = $$ $$ = \max ( |a_{11}|+|a_{12}|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) \ge |a_{11}|+|a_{12}| \, . $$ Из двух выведенных неравенств следует, что матричная норма $ \| \cdot \|_{\infty} $ является подчиненной для норм $ \| \cdot \|_{\infty} $, введенных в пространствах векторов-столбцов $ \mathbb R^2 $ и $ \mathbb R^3 $. ♦ А вот с евклидовыми нормами ситуация оказывается посложнее... !!П!! **Пример 5.** Пусть в пространствах векторов-столбцов $ \mathbb R^{m} $ и $ \mathbb R^{n} $ заданы евклидовы нормы $$ \| (y_1,\dots,y_m)^{\top} \|=\sqrt{y_1^2+\dots+y_m^2},\ \| (x_1,\dots,x_n)^{\top} \|=\sqrt{x_1^2+\dots+x_n^2} \, . $$ Тогда $$ \|AX\|_{2} = \sqrt{X^{^{\top}}A^{^{\top}} A X} $$ и $$ \frac{\|AX\|_2}{\|X\|_2}=\sqrt{\frac{X^{^{\top}}A^{^{\top}} A X}{X^{^{\top}}X}} \, . $$ Матрица $ A^{^{\top}} A $ является симметричной и ((:2form#знакоопределенность положительно полуопределенной)), т.е. все ее собственные числа неотрицательны. По доказанному в ☞ ((:algebra2:symmetric:ratio ПУНКТЕ)), подкоренное выражение имеет максимальное значение равное максимальному собственному числу матрицы $ A^{^{\top}} A $. В результате, матричную **спектральную норму**[[(//англ.//) spectral norm]] $ \|\cdot \|_2 $ определяют равенством: $$ \|A\|_2=\sigma_{\max} $$ где $ \sigma_{\max} $ означает максимальное ((:algebra2:svd#сингулярное_разложение сингулярное число)) матрицы $ A $. Для матрицы $ A $, состоящей из одного столбца $ A=(a_1,\dots,a_m)^{^{\top}} $, матрица $ A^{^{\top}} A =a_1^2+\dots+a_m^2 $. Следовательно, $$ \sigma_{\max} =\sqrt{a_1^2+\dots+a_m^2} \ , $$ и спектральная матричная норма совпадает с ((#примеры евклидовой нормой)) в $ \mathbb R^m $. Таким образом, спектральная матричная норма $ \| \cdot \|_2 $ оказывается подчиненной евклидовой векторной норме $ \| \cdot \|_2 $. ♦ В терминах сингулярных чисел матрицы $ A $ норму Фробениуса $ \| A \|_{F} $ из примера $ 1 $ можно записать в виде $$ \| A \|_{F}= \sqrt{\sum_{j} \sigma_j^2} \ , $$ где суммирование идет по квадратам всех сингулярных чисел матрицы $ A $. Из этого замечания следуют очевидные неравенствв: $$ \| A \|_2 \le \| A \|_{F} \le \sqrt{\mathfrak r} \| A \|_2 \quad npu \ \forall A,\ \operatorname{rank} A = \mathfrak r \, . $$ !!?!! Доказать, что равенство в левом неравенстве достигается тогда и только тогда когда $ \mathfrak r \le 1 $. !!П!! **Пример 6.** Для $$ A= \left(\begin{array}{rr} 3 & -2 \\ 1 & 1 \\ -5 & 1 \end{array} \right) $$ имеем $$ \|A\|_F= \sqrt{9+4+1+1+25+1}=\sqrt{41} \approx 6.4031, \ $$ $$ \|A\|_1 = \max \{3+1+5, 4+1+1\} = 9, \ \|A\|_{\infty} = \max \{3+2, 1+1, 5+1\}=6 $$ Для нахождения $ \|A\|_2 $ вычисляем $$ A^{^{\top}} A = \left( \begin{array}{rr} 35 & -10 \\ -10 & 6 \end{array} \right) \, . $$ Характеристический полином $ \det (A^{^{\top}} A-\lambda E) \equiv \lambda^2-41\, \lambda+ 110 $ имеет корни $$ \lambda_1=\frac{41+\sqrt{1241}}{2}, \lambda_2=\frac{41-\sqrt{1241}}{2} $$ и $ \|A\|_2 =\sqrt{\lambda_1} \approx 6.173647 $. ♦ С вычислительной точки зрения спектральная норма $ \| \cdot \|_2 $ наиболее "дорогая": она требует вычисления собственного числа матрицы. К счастью, как правило, можно организовать это вычисление без промежуточного вычисления характеристического полинома. В самом деле, для приближенного вычисления максимального собственного числа положительно полуопределенной симметричной матрицы $ A^{^{\top}} A $ можно воспользоваться ((:algebra2:charpoly#частичная_проблема_собственных_чисел методом степенных итераций)). !!?!! Верно ли равенство $ \|A^{-1}\|= \|A\|^{-1} $ для квадратной невырожденной матрицы $ A $? ===Связь с собственными числами== !!Т!! **Теорема [Шур]**. //Для спектра// $ \{\lambda_1,\dots,\lambda_n\} $ //квадратной матрицы// $ A \in \mathbb R^{n\times n} $ //имеют место неравенства// $$ \sqrt{\sum_{j=1}^n |\lambda_j|^2} \le \|A\|_{_F} ; $$ $$ \sqrt{\sum_{j=1}^n | \mathfrak{Re} (\lambda_j)|^2} \le \left\|\frac{1}2(A+A^{\top})\right\|_{_F} ; $$ $$ \sqrt{\sum_{j=1}^n | \mathfrak{Im} (\lambda_j)|^2} \le \left\|\frac{1}2(A-A^{\top})\right\|_{_F} . $$ ==Источники== **Гантмахер Ф.Р.** //Теория матриц.// 4-е изд. М.Наука. 1988. **Беллман Р.** //Введение в теорию матриц.// М.Наука. 1969.