Просмотр кода страницы Теорема Карунена — Лоэва

{{RoughTranslation}}
Важным принципиальным вопросом теории дискретизации является вопрос об объёме дискретного описания сигналов, то есть о количестве <math>N</math> базисных функций, используемых для представления:

: <math>a(t)=\sum_{k=0}^{N-1}\alpha_{k}\varphi_{k}(t)</math>.

Чтобы найти оптимальный базис, нужно определить класс сигналов, для которого он отыскивается, а также задать точность восстановления для этого класса. При статистическом подходе к описанию сигналов оптимальным <math>N</math> — мерным базисом для представления отдельных реализаций сигналов обычно считается базис, при котором норма ошибки, усредненная по ансамблю реализаций, минимальна. В этом случае необходимые и достаточные условия минимума нормы ошибки представления сигнала в виде суммы базисных функций определяет теорема Карунена-Лоэва.

== Популярная формулировка ==
Минимальное значение нормы ошибки представления сигналов на интервале протяженностью <math>T</math> достигается при использовании в качестве базиса собственных функций оператора, ядром которого является корреляционная функция сигналов <math>R_{a}(t, \tau)</math>:

: <math>\int_{-\frac{T}{2}}^{\frac{T}{2}}R_{a}(t, \tau)\varphi_{k}(\tau)d\tau=\lambda_{k}\varphi_{k}(t)</math>,

соответствующих <math>N</math> наибольшим собственным значениям.
При этом норма ошибки равна:

: <math>\| \epsilon  \|^{2}_{min}=\|a(t)-\sum_{k=0}^{N-1}\alpha_{k}\varphi_{k}(t)\|^{2}_{min}=\sum_{k=N}^{\infty}\lambda_{k}</math>.
Такое разложение является разложением Карунена-Лоэва{{sfn|Введение в цифровую обработку изображений|с=68|1979}}{{sfn|Теория сигналов|с=115|1974}}.

== Применение ==
В теории [[Случайный процесс|случайных процессов]] '''теорема Карунена-Лоэва ''' (названа в честь [[Карунен, Кари|Кари Карунена]] и [[Лоэв, Мишель|Мишеля Лоэва]]) — представление случайного процесса в виде бесконечной линейной комбинации [[Ортогональные функции|ортогональных функций]], аналогичное представлению [[Ряд Фурье|рядов Фурье]] — последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из [[Тригонометрические функции|синусоидальных функций]] (то есть, из функций [[синус]] и [[косинус]] с разными частотами), коэффициенты в теореме Карунена-Лоэва — случайные переменные, и базис представления зависит от процесса. Ортогональные [[базисная функция|базисные функции]], использованные в этом представлении, определяет [[функция ковариации]] процесса. Если мы рассматриваем стохастический процесс как случайную ''функцию'' '''F''', то есть процесс, в котором функция на интервале [''a'', ''b''] принимает значение ''F'', то эта теорема может рассматриваться как случайное ортонормальное разложение '''F'''.

Центрированный случайный процесс {'''X'''<sub>''t''</sub>}<sub>''t'' ∈ [''a'', ''b'']</sub> (где центрирование означает, что математические ожидания E('''X'''<sub>''t''</sub>) существуют и равны нулю для всех значений параметра ''t'' из [''a'', ''b'']), удовлетворяющий техническому условию непрерывности, допускает разложение следующего вида:
: <math> \mathbf{X}_t = \sum_{k=1}^\infty \mathbf{Z}_k e_k(t). </math>

где '''Z'''<sub>''k''</sub> — [[взаимнонекоррелированые]] случайные величины и функции ''e''<sub>''k''</sub> — непрерывные вещественные функции на [''a'', ''b''], [[Ортогональность|ортогональные]] в ''L''² [''a'', ''b'']. В случае нецентрированного процесса имеет место аналогичное разложение, получаемое разложением функции математического ожидания в базисе ''e''<sub>''k''</sub>.

Если процесс <math> \mathbf{X}_t </math> [[Гауссовский процесс|гауссовский]], то случайные величины '''Z'''<sub>''k''</sub> — тоже гауссовские и являются [[Независимость (теория вероятностей)|независимыми]]. Этот результат обобщает преобразования ''Карунена-Лоэва''. Важным примером центрированного случайного процесса на интервале [0,1] является [[винеровский процесс]], и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.

Приведенные выше разложения в также известны как ''разложения'' или ''декомпозиция Карунена-Лоэва'' (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как [[Метод главных компонент|анализ главных компонент]], ''[[собственное ортогональное разложение]]'' или ''преобразование [[Хотеллинг]]а''.

== Формулировка ==
Сформулируем результат в терминах комплекснозначных стохастических процессов. Результаты могут быть применены к вещественнозначным процессам без модификаций, вспоминая, что число, комплексно-сопряженное с действительным числом, совпадает с ним самим.

Для случайных элементов '''X''' и '''Y''' скалярное произведение определяется формулой
: <math> \langle \mathbf{X}|\mathbf{Y} \rangle = \operatorname{E}(\mathbf{X^*}\mathbf{Y})</math>

где * обозначает операцию комплексного сопряжения.

=== Статистики второго порядка ===
Скалярное произведение корректно определено, если как <math>X</math>, так и <math>Y</math> имеют конечные вторые моменты, или, что то же самое, если они оба [[квадратично интегрируемы]]. Отметим, что скалярное произведение связано с [[Ковариация|ковариацией]] и [[Корреляция|корреляцией]]. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации <math>K_\mathrm{XX}</math>
: <math> K_\mathrm{XX}(t,s) =  \operatorname{Cov}[ X(t),X(s)  ]  = \langle \mathbf{X}_t | \mathbf{X}_s \rangle </math>

::::: <math>=  \mathrm{E} \{ [ X(t)-\mu_X(t) ]^* [ X(s)-\mu_X(s) ]  \}</math>

::::: <math>=  \mathrm{E} \{  X^*(t)  X(s)  \} - \mu^*_X(t) \mu_X(s)</math>

::::: <math>= R_\mathrm{XX}(t,s)   - \mu^*_X(t) \mu_X(s) .</math>
Если процесс {'''X'''<sub>''t''</sub>}<sub>''t''</sub> центрированный, то
: <math>\mu_X(t) = 0</math>

для всех ''t''. Таким образом, автоковариация ''K''<sub>XX</sub> равна автокорреляции ''R''<sub>XX</sub>:

: <math> K_\mathrm{XX}(t,s) = R_\mathrm{XX}(t,s) .</math>

Отметим, что если {'''X'''<sub>''t''</sub>}<sub>''t''</sub> центрированный и ''t''<sub>1</sub>, ≤ ''t''<sub>2</sub>, …, ≤ ''t''<sub>''N''</sub> являются точками на интервале [''a'', ''b''], следовательно

: <math> \sum_{k,\ell} \operatorname{Cov}_{\mathbf{X}}(t_k,t_\ell) = \operatorname{Var}\left(\sum_{k=1}^N \mathbf{X}_k\right) \geq 0. </math>

== Формулировка теоремы ==
'''Теорема'''. Рассмотрим центрированный случайный процесс <math>\{\mathbf{X}_t\}</math>, индексированный <math>t</math> на интервале <math>[a,b]</math> с ковариационной функцией <math>\mathrm{Cov}_{\mathbf{X}}</math>. Предположим, что ковариационная функция <math>\mathrm{Cov}_{\mathbf{X}}(t,s)</math> непрерывна по совокупности переменных <math>t, s</math>. Тогда <math>\mathrm{Cov}_{\mathbf{X}}</math> — положительно определенное ядро, и по [[теорема Мерсера|теореме Мерсера]] интегральный оператор <math>T</math> в <math>L^2[a,b]</math> (близкой к мере Лебега на <math>[a,b]</math>) имеет ортонормированный базис из собственных векторов. Пусть <math>\{e_i\}</math> являются собственными векторами <math>T</math>, соответствующими ненулевым собственным значениям и

: <math> \mathbf{Z}_i = \int_a^b \mathbf{X}_t e_i(t) dt. </math>

Тогда <math>Z_i</math> — центрированные ортогональные случайные величины и

: <math> \mathbf{X}_t = \sum_{i=1}^\infty e_i(t) \mathbf{Z}_i </math>
ряд сходится в среднем квадратичном, а также равномерно по <math>t</math>. Кроме того

: <math> \operatorname{Var}(\mathbf{Z}_i) = \operatorname{E}(\mathbf{Z}_i^2) = \lambda_i.</math>

где <math>\lambda_i</math> собственное значение, соответствующее собственному вектору <math>e_i</math>.

=== Суммы Коши ===
В формулировке теоремы интеграл в определении <math>Z_i</math> можно понимать как [[предел в среднем]] сумм Коши случайных величин

: <math> \sum_{k=0}^{\ell-1} \mathbf{X}_{\xi_k} e_i(\xi_k) (t_{k+1} - t_k), </math>

где
: <math> a = t_0 \leq \xi_0 \leq t_1 \leq \cdots \leq \xi_{\ell-1} \leq t_n = b </math>

=== Особый случай: [[гауссовское распределение]] ===
Так как предел в среднем квадратичном из совместно гауссовских случайных величин является гауссовским и совместно гауссовские случайные (центрированные) величины независимы тогда и только тогда, когда они являются ортогональными, мы можем также заключить:

'''Теорема'''. Случайные величины <math>Z_i</math> имеют гауссовское распределение и являются независимыми, если первоначальный процесс {'''X'''<sub>''t''</sub>}<sub>''t''</sub> тоже является гауссовским.

В гауссовском случае, поскольку случайные величины <math>Z_i</math> являются независимыми, мы можем быть уверены в том, что:

: <math> \lim_{N \rightarrow \infty} \sum_{i=1}^N e_i(t) \mathbf{Z}_i(\omega) = \mathbf{X}_t(\omega) </math>

почти наверное.

Отметим, что обобщая теорему Мерсера, мы можем заменить интервал <math>[a,b]</math> другими компактными пространствами <math>C</math> , а меру Лебега на <math>[a,b]</math> — борелевской мерой с носителем в <math>C</math>.

== Винеровский процесс ==
[[Винеровский процесс]] в теории случайных процессов — это математическая модель '''броуновского движения''' или случайного блуждания с непрерывным временем. Здесь мы определяем его как центрированный гауссовский процесс ''B''(''t'') с ковариационной функцией

: <math> \mathrm{K}_\mathrm{BB}(t,s)  = \operatorname{Cov}(B(t),B(s)) =  \min (s,t). </math>

Легко видеть, что собственные векторы ковариации равны
: <math> e_k(t) = \sqrt{2} \sin \left(k - \frac{1}{2}\right) \pi t </math>
а соответствующие собственные значения
: <math> \lambda_k = \frac{4}{(2 k -1)^2 \pi^2}. </math>

Это позволяет получить нам следующее представление винеровского процесса:

'''Теорема'''. Существует последовательность {'''W'''<sub>''i''</sub>}<sub>''i''</sub> независимых гауссовких случайных величин с нулевым средним и единичной дисперсией такая, что
: <math> \mathbf{B}_t = \sqrt{2} \sum_{k=1}^\infty \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi}. </math>
Сходимость является равномерной по ''t'' в норме L² так, что
: <math> \operatorname{E}\left(\mathbf{B}_t - \sqrt{2} \sum_{k=1}^n \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi} \right)^2 \rightarrow 0 </math>
равномерно по ''t''.

== Использование ==
Было высказано мнение, что в проекте [[SETI]] следует использовать преобразования Карунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).

== См. также ==
* [[Метод главных компонент]]
* [[Нейронная сеть Кохонена]]
* {{Не переведено|:en:Polynomial chaos|Полиномиальный хаос}}

== Ссылки ==
* И. И. Гихман, А. В. Скороход, [http://psihi.mylivepage.ru/file/277/741_И.И.Гихман.А.В.Скороход.Введение.в.теорию.случайных.процессов.djvu Введение в теорию случайных процессов]{{Недоступная ссылка|date=Июнь 2019 |bot=InternetArchiveBot }}.- М.: Наука, 1965.
* B. Simon, ''Functional Integration and Quantum Physics'', Academic Press, 1979
* K. Karhunen, Kari, ''Uber lineare Methoden in der Wahrscheinlichkeitsrechnung'', Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys., 1947, No. 37, 1-79
* М. Лоев, [https://web.archive.org/web/20110109232805/http://lib.org.by/info/0pre-Library/Loe'v%20M.%20(_Loeve_)%20Teorija%20verojatnostej%20(IL,%201962)(ru)(T)(720s).djvu Теория вероятностей], — М.: ИЛ, 1962.
* G. Dai, ''Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions'', JOSA A, 13, 6, 1996

== Примечания ==
{{Примечания}}

== Литература ==
* {{книга
 | автор           = Ярославский Л. П.
 | заглавие      = Введение в цифровую обработку изображений
 | место          = М.
 | издательство  = Советское радио
 | год           = 1979
 | страниц    = 312
 | ref             = Введение в цифровую обработку изображений
 }}
* {{книга
 | автор           = Френкс Л.
 | заглавие      = Теория сигналов
 | место          = М.
 | издательство  = Советское радио
 | год           = 1974
 | страниц    = 399
 | ref             = Теория сигналов
 }}

[[Категория:Теоремы теории вероятностей и математической статистики|Карунена — Лоэва]]
[[Категория:Случайные процессы]]