==Сингулярное разложение матрицы==
!!§!! Для понимания материалов этого раздела рекомендуется просмотреть материалы разделов ((:algebra2:symmetric СИММЕТРИЧНАЯ МАТРИЦА)) и ((:algebra2:charpoly ХАРАКТЕРИСТИЧЕСКИЙ ПОЛИНОМ)).
В настоящем разделе все матрицы предполагаются вещественными.
~~TOC~~
===Некоторые предварительные сведения==
о матрицах $ A\cdot A^{\top} $ и $ A^{\top} A $ для матрицы $ A\in \mathbb R^{m\times n} $.
1.
Обе матрицы --- симметричны (хотя и не обязательно одинаковых порядков).
2.
Матрица $ A\cdot A^{\top} $ --- ((:dets:gram#матрица_и_определитель_грама матрица Грама)) системы строк, а
$ A^{\top} A $ --- матрица Грама системы столбцов матрицы $ A $. Так если представить матрицу $ A $ как результат конкатенации ее столбцов $ A=[A_{[1]}|A_{[2]}|\dots |A_{[n]} ] $, то
$$ A^{\top} A = G(A_{[1]},A_{[2]},\dots ,A_{[n]}) \, ; $$
здесь скалярное произведение задано стандартным способом.
Отсюда, в частности, следует, что если $ \operatorname{rank} (A) = \mathfrak r $, то
$$ \operatorname{rank} ( A\cdot A^{\top}) = \operatorname{rank} (A^{\top} A) = \mathfrak r \, . $$
3.
((:algebra2:charpoly Характеристические полиномы)) этих матриц могут различаться только лишь на степень переменной:
$$
(-\lambda)^n \det (A \cdot A^{\top} - \lambda E_{m\times m})\equiv (-\lambda)^m \det ( A^{\top} A - \lambda E_{n\times n}) \ .
$$
4.
((:algebra2:charpoly#собственное_число Собственные числа)) обеих матриц вещественны и неотрицательны. Количество ненулевых совпадает с $ \operatorname{rank} (A) = \mathfrak r $. Условимся обозначать положительные в виде $ \lambda_1^2,\dots,\lambda_{\mathfrak r}^2 $. Таким образом спектры матриц:
$$
\begin{array}{c|c}
A\cdot A^{\top} & A^{\top} A \\
\hline
\{\lambda_1^2,\dots,\lambda_{\mathfrak r}^2,\underbrace{0,\dots,0}_{m-\mathfrak r}\} & \{\lambda_1^2,\dots,\lambda_{\mathfrak r}^2,\underbrace{0,\dots,0}_{n-\mathfrak r}\} \, .
\end{array}
$$
5.
Существуют ((:algebra2:funmatrix#квадратный_корень_из_матрицы положительно полуопределенные квадратные корни)) из матриц $ A\cdot A^{\top} $ и $ A^{\top} A $, т.е. вещественные симметричные матрицы $ X $ и $ Y $ такие, что
$$ X^2= A\cdot A^{\top},\ Y^2=A^{\top} A \, . $$
===Полярное разложение==
!!Т!! **Теорема 1.** //Пусть задана матрица// $ A \in \mathbb R^{m\times n} $, //причем// $ m\le n $ и $ \operatorname{rank} (A)=\mathfrak r \le m $. //Существует//
* //((:algebra2:ort_matrix ортогональная матрица))// $ P \in \mathbb R^{m\times m} $:
$$ P \cdot P^{\top} = E \in \mathbb R^{m\times m} \ ; $$
* //((:algebra2#симметричная диагональная матрица))// $ \Lambda \in \mathbb R^{m\times m} $
$$
\Lambda=
\left(\begin{array}{cccccccc}
\lambda_1 & & & & \\
& \lambda_2 & & & \\
& & \ddots & & \\
& & & \lambda_{\mathfrak r} & \\
& & & & 0 &\\
& & & & & 0 & \\
& & & & & & \ddots & \\
& & & & & & & 0
\end{array}
\right)
$$
//с неотрицательными диагональными элементами//
$$ \lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_{\mathfrak r} > \lambda_{\mathfrak r+1}=\dots =
\lambda_{m}=0 \ , $$
* //матрица// $ Q \in \mathbb R^{m\times n} $// с ((:euclid_space#ортогонализация ортонормированными строками))//:
$$ Q \cdot Q^{\top} = E_{m\times m} \ ,$$
//такие, что//
$$ A = P \Lambda Q \, . $$
При этом
* матрица $ \Lambda $ определена однозначно и числа $ \lambda_1^2, \lambda_2^2,\dots, \lambda_{\mathfrak r}^2 $ являются ((:algebra2:charpoly#собственное_число собственными числами)) матрицы $ A \cdot A^{\top} $.
* столбцы матрицы $ P $ являются ((:algebra2:charpoly#собственный_вектор собственными векторами)) матрицы $ A \cdot A^{\top} $:
$$ P= \left[\mathfrak X_1|\mathfrak X_2|\dots | \mathfrak X_m \right],\ npu \ ( A \cdot A^{\top}-\lambda_j^2 E) \mathfrak X_j = \mathbb O_{m\times 1} \, . $$
!!Т!! **Теорема 2.** //Пусть задана матрица// $ A \in \mathbb R^{m\times n} $, //причем// $ m \le n $. //Тогда// $ A $ //представима в виде//
$$ A=PU $$
//где//
* //симметричная матрица// $ P $ ((:2form#знакоопределенность положительно полуопределена)), $ \operatorname{rank} (P)= \operatorname{rank} (A) $;
* //матрица// $ U \in \mathbb R^{m\times n} $ //имеет ортонормированные строки, т.е.// $ U \cdot U^{\top} = E_{m \times m } $.
//Матрица// $ P $ //определена однозначно//: $ P=\sqrt{A\cdot A^{\top}} $. //Матрица// $ U $ //определена однозначно если// $ \operatorname{rank} (A) =m $.
----
Разложение из теоремы называется **полярным разложением матрицы** $ A $.
----
**Доказательство.** Используя теорему 1, запишем матрицу $ A $ в виде
$$ A=P_1 \Lambda Q_1=P_1 \Lambda P_1^{\top} P_1 Q_1 $$
и положим $ P=P_1 \Lambda P_1^{\top} $, $ U= P_1 Q_1 $. Тогда $ P $ положительно полуопределена и
$$ U\cdot U^{\top}=P_1 Q_1Q_1^{\top} P_1^{\top} = P_1 E P_1^{\top}=P_1 \cdot P_1^{\top}= E \ , $$
так что $ U $ имеет ортонормированные строки. Если $ A=PU $, то
$$ A \cdot A^{\top}=PU\cdot U^{\top} P=P^2 $$
и $ P $ должна быть единственным положительно полуопределенным квадратным корнем из $ A \cdot A^{\top} $ (см.
☞
((:algebra2:funmatrix#квадратный_корень_из_матрицы ЗДЕСЬ))). Если $ \operatorname{rank} (A) =m $, то матрица $ P $ невырожденна, и матрица $ U=P^{-1} A $ определена однозначно.
♦
===Сингулярное разложение==
!!Т!! **Теорема (о сингулярном разложении)**. //Для матрицы// $ A \in \mathbb R^{m\times n} $, $ \operatorname{rank} (A)=\mathfrak r $ //существует представление ее в виде произведения//
$$ A=U \Sigma V^{\top} \, . $$
Схематически при $ mn $:
{{ :algebra2:svd_matrix21r.png?800 |}}
//Здесь//
* $ U \in \mathbb R^{m\times m} $ //и// $ V \in \mathbb R^{n\times n} $ --- //((:algebra2:ort_matrix ортогональные матрицы))//;
* //матрица// $ \Sigma \in \mathbb R^{m\times n} $ //имеет ненулевыми только элементы// $ \sigma_{jj}=\sigma_j $ при $ j\in \{1,\dots, \mathfrak r \} $:
$$
\Sigma=\left( \begin{array}{cccc|c}
\sigma_1 & & & & \\
& \sigma_2 & & &\mathbb O_{{\mathfrak r}\times (n-{\mathfrak r})}\\
& &\ddots& & \\
& & & \sigma_{\mathfrak r} & \\
& & & & \\
\hline
&\mathbb O_{(m-{\mathfrak r})\times {\mathfrak r}} & & & \mathbb O_{(m-{\mathfrak r})\times (n-{\mathfrak r})}
\end{array}
\right)
$$
//Числа// $ \sigma_1, \sigma_2,\dots,\sigma_{\mathfrak r} $ //расположены в порядке неубывания//:
$$ \sigma_1\ge \sigma_2 \ge \dots \ge \sigma_{\mathfrak r} > 0 $$
//и равны арифметическим квадратным корням из
((:algebra2:charpoly#собственное_число ненулевых собственных чисел)) матрицы// $ A \cdot A^{\top} $
$$ \{\sigma_j= |\lambda_j| \}_{j=1}^{\mathfrak r} $$
//где// $ \lambda_1^2, \lambda_2^2,\dots, \lambda_{\mathfrak r}^2 $ --- // корни уравнения//
$$ \det ( A \cdot A^{\top}-\lambda E) =0 \, . $$
* //Столбцы матрицы// $ U $ //являются ((:algebra2:charpoly#собственный_вектор собственными векторами)) матрицы// $ A \cdot A^{\top} $:
$$ U= \left[ U_{[1]}| U_{[2]}|\dots | U_{[m]} \right],\ npu \ ( A \cdot A^{\top}-\lambda_j^2 E) U_{[j]} = \mathbb O_{m\times 1} \, . $$
* //cтолбцы матрицы// $ V $ //являются ((:algebra2:charpoly#собственный_вектор собственными векторами)) матрицы// $ A^{\top} \cdot A $:
$$ V= \left[ V_{[1]}|V_{[2]}|\dots | V_{[n]} \right],\ npu \ ( A^{\top} A -\lambda_j^2 E) V_{[j]} = \mathbb O_{n\times 1} \, . $$
**Доказательство.** Предположим, для определенности, что $ m \le n $. Воспользуемся теоремой $ 1 $ из предыдущего пункта.
$$ A=P\Lambda Q \quad npu \ \{P,\Lambda\} \subset \mathbb R^{m\times m}, Q \in \mathbb R^{m\times n} \, . $$
Положим
$$ U=P, \Sigma=\left[\Lambda \mid \mathbb O_{m\times (n-m)} \right] , $$
и определим матрицу $ V $ как матрицу вида
$$ V=\left[Q^{\top} \mid S^{\top} \right] \, , $$
столбцы которой составляют ортонормированный базис пространства $ \mathbb R^n $. Столбцы матрицы $ Q^{\top} $ уже ортонормированы, поэтому при $ m < n $ можно подобрать столбцы матрицы $ S^{\top} \in \mathbb R^{n\times (n-m)} $ так, чтобы матрица $ V $ стала ортогональной. Очевидно,
$$ =U \Sigma V^{\top}=P \left[\Lambda \mid \mathbb O \right] \left[\begin{array}{c} Q \\ S \end{array} \right]=P \Lambda Q = A \, . $$
♦
----
Диагональные элементы матрицы $ \Sigma=[\sigma_{ij} ]_{i=1,\dots, m; j=1,\dots, n} $, т.е. элементы
с одинаковыми индексами
$$ \big\{\sigma_1, \sigma_2,\dots,\sigma_{\mathfrak r}, \underbrace{0, \dots, 0}_{\min \{m,n\} - \mathfrak r} \big\} $$
называются **сингулярными числами матрицы**[[Часто к сингулярным относят только положительные из указанных чисел.]] $ A $. Столбцы матрицы $ U $ называют **левыми сингулярными векторами**, а столбцы матрицы $ V $ --- **правыми сингулярными векторами** матрицы $ A $. Левый и правый сингулярные векторы, соответствующие одному и тому же сингулярному числу $ \sigma_j $, связаны соотношениями
$$ A V_{[j]} = \sigma_j U_{[j]}, \ A^{\top} U_{[j]} = \sigma_j V_{[j]} \, . $$
Действительно, если вектор $ V_{[j]} $ является собственным для матрицы $ A^{\top} A $, то, домножив равенство
$$ A^{\top} A V_{[j]} =\sigma_j^2 V_{[j]} $$
слева на матрицу $ A $, получим:
$$
A\cdot A^{\top} A V_{[j]} =\sigma_j^2 A V_{[j]} \, .
$$
Но это равенство означает, что вектор $ A V_{[j]} $ является собственным вектором матрицы $ A\cdot A^{\top} $, соответствующим собственному числу $ \sigma_j^2 $.
Представление матрицы $ A $ в виде произведения из теоремы называется **сингулярным разложением**[[(//англ.//) Singular Value Decomposition, SVD]] матрицы $ A $.
Сингулярные векторы имеют единичную длину: $\| U_{[j]} \|=1, \| V_{[j]} \|=1 $.
!!П!! **Пример 1.** Для симметричной матрицы $ A \in \mathbb R^{n\times n} $ в случае неотрицательности ее собственных чисел сингулярное разложение имеет вид:
$$ A=P \left(\begin{array}{cccc}
\lambda_1 & & & \\
& \lambda_2 & & \\
& & \ddots & \\
& & & \lambda_{\mathfrak n}
\end{array}
\right) P^{\top} \, , $$
где $ \lambda_1\ge \lambda_2 \ge \dots \ge \lambda_n $ означают собственные числа матрицы $ A $,
а матрица
$$ P=[\mathfrak X_1 | \mathfrak X_2| \dots | \mathfrak X_n ] $$
имеет столбцами соответствующие этим собственным числам собственные векторы единичной длины[[Причем векторы, принадлежащие различным собственным числам, будут ортогональными автоматически, а принадлежащие кратному собственному числу можно ортогонализовать.]].
Фактически, это утверждение --- следствие ((:algebra2:symmetric#диагонализуемость теоремы)) о приводимости симметричной матрицы к диагональному виду с помощью ортогональной матрицы.
!!П!! **Пример 2.** Для произвольной симметричной матрицы $ A \in \mathbb R^{n\times n} $ результат предыдущего примера слегка модифицируется. Из представления, полученного в том примере:
$$ A=[\mathfrak X_1 | \mathfrak X_2| \dots | \mathfrak X_n ]\left(\begin{array}{cccc}
\lambda_1 & & & \\
& \lambda_2 & & \\
& & \ddots & \\
& & & \lambda_{\mathfrak n}
\end{array}
\right) [\mathfrak X_1 | \mathfrak X_2| \dots | \mathfrak X_n ]^{\top} \ ,
$$
в котором собственные числа $ \lambda_1,\lambda_2,\dots,\lambda_n $ занумерованы теперь по убыванию модулей,
делаем сингулярное разложение в виде
$$
=
[\mathfrak X_1 | \mathfrak X_2| \dots | \mathfrak X_n ]\left(\begin{array}{cccc}
|\lambda_1| & & & \\
& |\lambda_2| & & \\
& & \ddots & \\
& & & |\lambda_{\mathfrak n}|
\end{array}
\right) [\operatorname{sign}(\lambda_1) \mathfrak X_1 | \operatorname{sign}(\lambda_2)\mathfrak X_2| \dots |
\operatorname{sign}(\lambda_n)\mathfrak X_n ]^{\top} \, .
$$
Ортогональность крайних матриц сохраняется. Так, для матрицы
$$
A=\left(\begin{array}{cccc}
1 & 2 & 3 & 2 \\
2 & 1 & 2 & 3 \\
3 & 2 & 1 & 2 \\
2 & 3 & 2 & 1
\end{array}\right)
$$
ее ((:algebra2:charpoly#собственное_число спектром)) является набор $ \{8,-2,-2,0\} $. Матрица
$$
P=\left(\begin{array}{rrrr}
1/2 & 1/\sqrt{2} & 0 & 1/2 \\
1/2 & 0 & 1/\sqrt{2} & -1/2 \\
1/2& -1/\sqrt{2}& 0 & 1/2 \\
1/2& 0& -1/\sqrt{2} &-1/2
\end{array}\right) \, ,
$$
столбцами которой являются собственные векторы матрицы $ A $ (упорядоченные в соответствии с указанным выше порядком собственных чисел), приводит матрицу $ A $ к диагональному виду:
$$P^{\top}AP=
\left(\begin{array}{cccc}
8 & & & \\
& -2 & & \\
& & -2 & \\
& & & 0
\end{array}\right) \, .
$$
Тогда сингулярное разложение матрицы $ A $ имеет вид:
$$ A=P \left(\begin{array}{cccc}
8 & & & \\
& +2 & & \\
& & +2 & \\
& & & 0
\end{array}\right) \left(\begin{array}{rrrr}
1/2 & -1/\sqrt{2} & 0 & 1/2 \\
1/2 & 0 & -1/\sqrt{2} & -1/2 \\
1/2& 1/\sqrt{2}& 0 & 1/2 \\
1/2& 0& 1/\sqrt{2} &-1/2
\end{array}\right)^{\top} \, .
$$
!!П!! **Пример 3.** Для произвольной квадратной матрицы $ A \in \mathbb R^{n\times n} $ связь ее собственных чисел с сингулярными становится непрозрачной. Характеристический полином матрицы
$$
A=
\left(\begin{array}{rrr}
7 & 2 & -5 \\
-9 & 8 & -5 \\
24 & -6 & 8
\end{array}
\right)
$$
равен
$$
-\lambda^3+23\,\lambda^2-284\, \lambda+832 \, ,
$$
и он имеет корни
$$ \mu_1=4, \mu_{2,3} = \frac{19}{2} \pm \frac{\sqrt{471}}{2} \mathbf{i} \approx 9.5\pm 10.851267 \mathbf{i} \, . $$
Характеристические полиномы матриц
$$ A \cdot A^{\top}=
\left(\begin{array}{rrr}
78 & -22 & 116 \\
-22 & 170 & -304 \\
116 & -304 & 676
\end{array}
\right)
\quad u \quad
A^{\top}A =
\left(\begin{array}{rrr}
706 & -202 & 202 \\
-202 & 104 & -98 \\
202 & -98 & 114
\end{array}
\right)
$$
идентичны и равны
$$ -\lambda^3-924\, \lambda^2+74552\, \lambda -692224 \, . $$
Корни полинома третьей степени можно выразить в радикалах от его коэффициентов, но эти формулы слишком громоздки. Поэтому находим приближенные их значения (например, по ((:polynomial:newton методу Ньютона))):
$$ \lambda_1^2 \approx 835.791687,\ \lambda_2^2 \approx 77.524974, \ \lambda_3^2 \approx 10.683338 \, . $$
Для поиска же сингулярных векторов матрицы $ A $ применяем процедуру, изложенную
☞
((:algebra2:charpoly#собственный_вектор ЗДЕСЬ)). Строим матрицу, ((:algebra2:inverse#способы_построения взаимную матрице)) $ A \cdot A^{\top} - \lambda E $, впрочем, нам достаточно знания одного ее столбца, например, первого:
$$
\left(\begin{array}{ccc}
\lambda^2-846\, \lambda +22504 & \ast & \ast \\
-22\, \lambda -20392 & \ast & \ast \\
116\, \lambda-13032 & \ast & \ast
\end{array}
\right) \, .
$$
Подстановка в этот столбец любого из $ \lambda_1^2, \lambda_2^2,\lambda_3^2 $ даст величину соответствующего собственного вектора матрицы $ A \cdot A^{\top} $:
$$
\approx \left(\begin{array}{r}
13971.977125 \\ -38779.417121 \\ 83919.835730
\end{array}
\right), \
\approx \left(\begin{array}{r} -37072.006810 \\ -22097.549441 \\ -4039.102949
\end{array}
\right), \
\approx \left(\begin{array}{r} 13580.029684 \\ -20627.033438 \\ -11792.732781
\end{array}
\right) .
$$
Эти векторы попарно ортогональны, но не нормированы. Нормируем их, и составим из полученных столбцов ортогональную матрицу:
$$
U \approx
\left(
\begin{array}{rrr}
0.149438 & -0.855241 & 0.496217 \\
-0.414768 & -0.509784 & -0.753715\\
0.897572 & -0.093181 & -0.430908
\end{array}
\right) \, .
$$
Один из сомножителей сингулярного разложения получен. Получение другого сомножителя --- матрицы $ V $, столбцами которой являются
собственные векторы матрицы $ A^{\top} A $, возможно тем же способом: построением матрицы, ((:algebra2:inverse#способы_построения взаимной матрице)) $ A^{\top} A - \lambda E $:
$$
\left(\begin{array}{ccc}
\lambda^2-218\, \lambda +2252 & \ast & \ast \\
-202\, \lambda+ 3232 & \ast & \ast \\
202\, \lambda-1212 & \ast & \ast
\end{array}
\right) \, .
$$
Тем не менее, отработанная процедура потребует модификации. Дело в том, что каждому собственному числу матрицы $ A^{\top} A $ соответствует **два** нормированных собственных вектора, различающиеся направлением. Так, к примеру, числу $ \lambda_1^2 $ соответствуют векторы
$$ \approx \pm [ 0.910434, -0.290719, 0.294265 ]^{\top} \, . $$
Какой из них взять первым столбцом матрицы $ V $? Напомним, что для левый и правый сингулярные векторы матрицы должны быть согласованными соотношением $ A^{\top} U_{[j]} = \sigma_j V_{[j]} $. Фактически, его можно было бы использовать для нахождения вектора $ V_{[j]} $ по уже найденному $ U_{[j]} $, и не связываться с дорогостоящей процедурой вычисления взаимной матрицы. Окончательно:
$$
V\approx
\left(
\begin{array}{rrr}
0.910434 & -0.412838 & -0.025959 \\
-0.290719 & -0.593955 & -0.750133\\
0.294265 & 0.690494 & -0.660777
\end{array}
\right) \quad \mbox{и} \quad \Sigma \approx
\left(
\begin{array}{rrr}
28.910062 & & \\
& 8.804827 & \\
& & 3.268538
\end{array}
\right)
.
$$
**Проверка.**
$$ U \Sigma V^{\top} \approx
\left(
\begin{array}{rrr}
6.999983 & 2.000003 & -5.000007 \\
-8.999986 & 7.999992 & -4.999991\\
23.999998 & -6.000005 & 7.999995
\end{array}
\right) \, .
$$
!!?!! Пусть сингулярное разложение матрицы $ A \in \mathbb R^{n\times n} $ известно. Какое условие надо наложить на сингулярные числа матрицы, чтобы она была обратимой? Как в этом случае найти сингулярное разложение $ A^{-1} $?
!!П!! **Пример 4.** Пусть теперь матрица $ A $ не является квадратной:
$$
A=\left(
\begin{array}{rrr}
1 & -1 & -2 \\
-7/3 & 1/3 & 2/3\\
1/3 & -7/3 & -2/3 \\
-5/3 & 5/3 & -2/3
\end{array}
\right) \, .
$$
Для такой матрицы понятие собственного числа отсутствует. Имеем:
$$
A\cdot A^{\top}=
\left(
\begin{array}{rrrr}
6 & -4 & 4 & -2 \\
-4 & 6 & -2 & 4\\
4 & -2 & 6 & -4 \\
-2 & 4 & -4 & 6
\end{array}
\right),\
A^{\top} A =
\left(
\begin{array}{rrr}
28/3 & -16/3 & -8/3 \\
-16/3 & 28/3 & 8/3\\
-8/3 & 8/3 & 16/3
\end{array}
\right)
$$
и характеристические полиномы эти матриц равны соответственно
$$
\lambda (\lambda-16)(\lambda-4)^2 \quad u \quad -(\lambda-16)(\lambda-4)^2 \, .
$$
Следовательно сингулярными числами матрицы $ A $ являются $ \sigma_1=4,\sigma_2=2,\sigma_3=2 $, а
$$
\Sigma
=\left(
\begin{array}{rrr}
4 & 0 & 0 \\
0 & 2 & 0 \\
0 & 0 & 2 \\
0 & 0 & 0
\end{array}
\right) \, .
$$
Ищем ортонормированные собственные векторы матрицы $ A^{\top} A $. Матрица, ((:algebra2:inverse#способы_построения взаимная матрице)) $ A \cdot A^{\top} - \lambda E $ имеет структуру
$$
\left(
\begin{array}{crr}
(\lambda-32/3)(\lambda-4) & * & * \\
16/3(4-\lambda) & * & * \\
8/3(4-\lambda) & * & *
\end{array}
\right)
$$
При $ \lambda=16 $ первый столбец дает величину собственного вектора в виде $ [64,-64,-32]^{\top} $, который после нормирования становится равным $ [2/3,-2/3,-1/3]^{\top} $ . Однако при значении кратного корня $ \lambda = 4 $ столбец вырождается в нулевой, т.е. поиск двух линейно независимых собственных векторов посредством взаимной матрицы принципиально неосуществим. На помощь приходит ((:mapping:operator:jordan#аннулирующий_полином минимальный аннулирующий полином)) матрицы $ A^{\top} A $. Таким является $ (\lambda-16)(\lambda-4) $. Матрица
$$ A^{\top} A - 16 E= \left(
\begin{array}{rrr}
-20/3 & -16/3 & -8/3 \\
-16/3 & -20/3 & 8/3 \\
-8/3 & 8/3 & -32/3
\end{array}
\right)
$$
имеет ранг равный $ 2 $, и любая пара ее столбцов будет линейно независимой системой собственных векторов матрицы, принадлежащих собственному числу $ \lambda=4 $. Возьмем, например, второй и третий столбцы и проведем с ними процедуру ((:euclid_space#ортогонализация ортогонализации Грама-Шмидта)). Получим столбцы
$$ [-16/3,-20/3, 8/3]^{\top} \ ; \ [-12,0,-24]^{\top} \, . $$
Нормируя все полученные столбцы, составим ортогональную матрицу
$$
V=
\left(
\begin{array}{rrr}
2/3& -4/(3\sqrt{5}) &1/\sqrt{5}\\
-2/3 & -\sqrt{5}/3 & 0 \\
-1/3 & 2/(3\sqrt{5}) & 2/\sqrt{5}
\end{array}
\right) \, .
$$
Нахождение левых сингулярных векторов производится с помощью формулы $ U_{[j]}= 1/\sigma_j A V_{[j]} $:
$$
U_{[1]}=\left[\frac{1}{2},-\frac{1}{2},\frac{1}{2},-\frac{1}{2}\right]^{\top},\
U_{[2]}=\left[-\frac{1}{2\sqrt{5}},\frac{3}{2\sqrt{5}},\frac{3}{2\sqrt{5}},-\frac{1}{2\sqrt{5}}\right]^{\top},\
$$
$$
U_{[3]}=\left[-\frac{3}{2\sqrt{5}},-\frac{1}{2\sqrt{5}},-\frac{1}{2\sqrt{5}},-\frac{3}{2\sqrt{5}}\right]^{\top} \, .
$$
Но матрица $ U $ должна быть квадратной! А у нас получилось только $ 3 $ вектора порядка $ 4 \times 1 $. Четвертый столбец выбираем так, чтобы он был ортогонален всем уже построенным:
$$ U_{[4]}=\left[\frac{1}{2},\frac{1}{2},-\frac{1}{2},-\frac{1}{2}\right]^{\top} \, . $$
Можно взять и противоположный вектор. Окончательно:
$$
U=
\left(
\begin{array}{rrrr}
\frac{1}{2} & -\frac{1}{2\sqrt{5}} & -\frac{3}{2\sqrt{5}} & \frac{1}{2} \\
-\frac{1}{2} & \frac{3}{2\sqrt{5}} & -\frac{1}{2\sqrt{5}} & \frac{1}{2}\\
\frac{1}{2} & \frac{3}{2\sqrt{5}} & -\frac{1}{2\sqrt{5}} & -\frac{1}{2} \\
-\frac{1}{2} & -\frac{1}{2\sqrt{5}} & -\frac{3}{2\sqrt{5}} & -\frac{1}{2}
\end{array}
\right) \, .
$$
Единственность сингулярного разложения матрицы не гарантирована. Однозначно определена только матрица $ \Sigma $
(при условии упорядочения сингулярных чисел по убыванию). Так, в предыдущем примере ответом являются также матрицы
$$
U=\frac{1}{2}
\left(
\begin{array}{rrrr}
1 & 1 & 1 & 1 \\
-1 & 1 &-1 & 1 \\
1 & 1 & -1 & -1 \\
-1 & 1 & 1 & -1
\end{array}
\right) , \quad V=\frac{1}{3}
\left(
\begin{array}{rrr}
2& -2 &1\\
-2 & -1 & 2 \\
-1 & -2 & -2
\end{array}
\right) \, .
$$
!!=>!! Для матрицы $ A \in \mathbb R^{m\times n} $, $ \operatorname{rank} (A)=\mathfrak r>0 $ ее сингулярное разложение означает представление ее в виде суммы $ \mathfrak r $ ((:algebra2:rank#матрицы_ранга_1 матриц ранга 1)):
$$ A=\sum_{j=1}^{\mathfrak r} \sigma_j U_{[j]} V_{[j]}^{\top} \, . $$
Так, матрицу из последнего примера можно представить в виде суммы:
$$
\left(
\begin{array}{rrr}
1 & -1 & -2 \\
-7/3 & 1/3 & 2/3\\
1/3 & -7/3 & -2/3 \\
-5/3 & 5/3 & -2/3
\end{array}
\right)=
$$
$$
=
4
\left(
\begin{array}{rrr}
1/3 & -1/3 & -1/6 \\
-1/3 & 1/3 & 1/6 \\
1/3 & -1/3 & -1/6 \\
-1/3 & 1/3 & 1/6
\end{array}
\right)+2
\left(
\begin{array}{rrr}
-1/3 & -1/6 & -1/3 \\
-1/3 & -1/6 & -1/3 \\
-1/3 & -1/6 & -1/3 \\
-1/3 & -1/6 & -1/3
\end{array}
\right)
+
2
\left(
\begin{array}{rrr}
1/6 & 1/3 & -1/3 \\
-1/6 & -1/3 & 1/3 \\
-1/6 & -1/3 & 1/3 \\
1/6 & 1/3 & -1/3
\end{array}
\right) \, .
$$
Впрочем, на практике экономнее хранить не матрицы с фактически одинаковыми строками (столбцами), а именно их представления в виде произведений столбцов $ U_{[j]} V_{[j]}^{\top} $.
----
Из последнего представления сингулярного разложения следует также, что в нем участвуют только те столбцы матриц $ U $ и $ V $ которые соответствуют __ненулевым__ сингулярным числам матрицы $ A $. Фактически для любой матрицы $ A $ порядка $ m \times n $ ее сингулярное разложение в виде суммы матриц ранга $ 1 $ будет содержать не более $ \min \{ m, n\} $ слагаемых. Этот вывод приводит к альтернативной матричной форме сингулярного разложения:
$$ A=\widetilde U \widetilde \Sigma \widetilde V^{\top} \, . $$
Здесь матрица $ \widetilde \Sigma $ теперь квадратная и диагональная, а матрицы $ \widetilde U $ и $ \widetilde V $ теперь не обязательно квадратные.
Они получаются из матриц $ U $ и $ V $ отбрасыванием их последних (после $ \mathfrak r $-го) столбцов. Для случая $ m>n=\mathfrak r $ структура произведения отражена на схеме
{{ :algebra2:svd_matrix3r.png?800 |}}
Для случая $ n>m=\mathfrak r $ структура произведения следующая: $ \widetilde U \in \mathbb R^{m \times m},
\widetilde \Sigma \in \mathbb R^{m \times m}, \widetilde V^{\top} \in \mathbb R^{m\times n} $.
====Приложения==
!!?!! Показать, что ((:norm_space#норма_матрицы евклидова норма)) (норма Фробениуса) матрицы $ A $ равна арифметическому корню из суммы квадратов ее сингулярных чисел:
$$ ||A|| = \sqrt{\sum_{j,k} a_{jk}^2} =\sqrt{\sum_{j=1}^{\mathfrak r} \sigma_j^2} \, . $$
**Решение.** Если воспользоваться представлением нормы матрицы с помощью ((:algebra2#след следа))
$$
||A|| = \sqrt{\operatorname{Sp}(A \cdot A^{\top})} \, ,
$$
то требуемый результат вытекает из структуры спектров матриц $ A \cdot A^{\top} $ и $ A^{\top} A $ (см. свойство
4
☞
((#некоторые_предварительные_сведения ЗДЕСЬ)) и теорему 1
☞
((:algebra2:charpoly#собственное_число ЗДЕСЬ))).
Приведем отдельное доказательство, рассчитывая применить его идею в дальнейшем. Подставим вместо $ A $ сингулярное представление:
$$
=\sqrt{\operatorname{Sp}\left[U\Sigma V^{\top} \cdot (U\Sigma V^{\top})^{\top}\right]}=\sqrt{\operatorname{Sp}
\left[U\Sigma V^{\top} \cdot V \Sigma^{\top} U^{\top}\right]}
$$
(при транспонировании произведения сомножители переставляются местами и транспонируются);
$$
=\sqrt{\operatorname{Sp}
\left[U\Sigma \cdot \Sigma^{\top} U^{\top}\right]}
$$
(матрица $ V $ --- ортогональная);
$$
=\sqrt{\operatorname{Sp}
\left[\Sigma \cdot \Sigma^{\top} U^{\top}U\right]}
$$
(под знаком следа сомножители можно переставлять местами: $ \operatorname{Sp}(A_1A_2)=\operatorname{Sp}(A_2A_1) $);
$$
=\sqrt{\operatorname{Sp}
\left[\Sigma \cdot \Sigma^{\top}\right]}
$$
(матрица $ U $ --- ортогональная). В квадратной матрице $ \Sigma \cdot \Sigma^{\top} $ все ненулевые элементы оказываются на главной диагонали:
$$
\Sigma \cdot \Sigma^{\top}=\left(\begin{array}{ccccc}
\sigma_1^2 & & & & \\
& \sigma_2^2 & & & \\
& & \ddots & & \\
& & & \sigma_{\mathfrak r}^2 & \\
& & & &
\end{array}
\right)_{m\times m}
$$
♦
!!Т!! **Теорема.** //Пусть матрица// $ A \in \mathbb R^{m\times n} $ //имеет ранг// $ \mathfrak r>0 $. //Матрицей//
$ \widetilde A \in \mathbb R^{m\times n} $ ранга $ k , 0
☞