Непараметрическое оценивание сигналов с неизвестным распределением

Для современного состояния статистической теории управления характерно стремление к разработке эффективных процедур при минимальной априорной информации об исходных наблюдениях. Такой подход соответствует реальной ситуации, когда точные математические модели изучаемых объектов (процессов, явлений) и свойства действующих на них возмущений на самом деле не известны. Например, при решении таких сложных задач, как автоматизация металлургического производства, обнаружение и распознование радиои гидролокационных сигналов на фоне помех, поиск новых методов диагностики и лечения заболеваний и др. все чаще приходится иметь дело с объектами, структура которых и характеристки возмущений практически не доступны. Имеющаяся априорная информация о распределении помех в этих случаях носит настолько неопределенный характер (например, ограниченность некоторых моментов, множество всех дифференцируемых функций распределения), что при построении вероятностной математической модели нет оснований воспользоваться каким-либо ко-нечнопараметрическим семейством распределений. В таких случаях говорят о непараметрической априорной неопределенности.

В ряде случаев параметрические информационные модели нельзя построить в принципе. Это происходит тогда, когда реализации случайной величины нельзя наблюдать в чистом виде. Такая ситуация имеет место, например, в гидролокации, где полезный сигнал, содержащий информацию об объекте и реверберации, без помех никогда не наблюдается, и, следовательно, чистые данные для построения оценочной модели объектов и реверберации отсутствуют.

В описанных случаях возникают трудности с применением не только параметрических процедур, но и некоторых непараметрических процедур. В частности, довольно широко применямые на практике ранговые статистики [112, 13] имеют следующие недоастатки: во-первых они требуют большого числа вычислительных операций, связанных с упорядочиванием выборкиво-вторых, появление зависимости между элементами выборки приводит к потере непараметрических свойств ранговых процедур.

Кроме того, принятые в большинстве классических методов математической статистики схемы с независимыми испытаниями также часто не соответствуют реальной действительности, особенно когда мы имеем дело с динамическими моделями наблюдений. Поэтому при построении оценок желательно найти способы учета зависимость между наблюдениями.

Проблемы решения классических задач обработки сигналов, получивших широкое распространение в системах радиои гидролокации, в астрономических наблюдения и т. д., приобретают особую актуальность в рамках широких условий априорной неопределенности, которую обеспечивают непараметрические ограничения. Непараметрическое описание моделей физических явлений оказывается более адекватным реально протекающим процессам и охватывает существенно более широкий круг явлений. Поэтому особый интерес представляют задачи теории решений, которые необходимо решать в условиях непараметрической априорной неопределенности.

В классической постановке этих задач в дискретном времени обычно предполагается заданным частично наблюдаемый случайный процесс Zn = (Sn, Xn) с наблюдаемой компонентой Хп и ненаблюдаемой Sn. Требуется дать оценку ненаблюдаемой компоненты Sn по реализации процесса Хп. Для решения этих задач в рамках параметрических моделей необходимо знание совместного распределения процесса (Sn, Хп). Однако в силу ненаблюдаемости процесса Sn его распределение восстановить невозможно и, следовательно, в общем случае построить оптимальную байесовскую оценку Sn нельзя. Тем не менее при некоторых дополнительных предположениях о модели наблюдения и непараметрических ограничениях на Sn удается сконструировать непараметрическую оценку Sn, близкую по своим свойствам к оптимальной оценке Sn, полученной при известном распределении пары.

Хп). Особенность подхода к построению оценок в таких случаях можно проиллюстрировать на следующем примере.

Пусть метеоролог М на центральной станции прогноза погоды получает данные о различных метеорологических параметрах. По результатам этих измерений он дает прогноз погоды в двух районах, А и В, находящихся в различных климатических поясах. Относительно природы метеорологических параметров естественно предположить, что в каждом климатическом поясе они принимают значения в соответствии со своим случайным механизмом. Если метеоролог М получил данные для двух районов, А и В, с идентичными результатами измерений всех метеорологических параметров, то легко представить себе ситуации, возникающие в зависимости от того, работает ли метеоролог М недавно или уже имеет богатый опыт работы с этими районами. В первом случае результаты обработки данных одинаково влияют на прогноз в районах, А и В. Во втором случае, если предшествующий опыт метеоролога говорит ему, что в районе, А данная совокупность значений метеорологических параметров гораздо чаще приводит к дождю, чем в районе В, то вряд ли можно сомневаться, что предшествующий опыт метеоролога при установлении прогноза будет каким-то образом сочетаться со способом обработки поступающих данных. Таким образом, здесь мы имеем ситуацию, когда скорее всего подсознательно оценка истинных значений метеорологических параметров (проводимая при помощи теории статистических решений) дополняется субъективной байесовской поправкой. Эта поправка вводится на основе грубой оценки априорного распределения, складывающегося у метеоролога благодаря его предшествующему опыту. Возникает вопрос: нельзя ли совершать такую операцию сознательно и систематически? Это как раз тот вопрос, который поставил и на который дал ответ Г. Роббинс для ряда конкретных примеров [87, 88]. Он сумел выделить те ситуации, в которых данные включают «предшествующий опыт», достаточный для построения хорошей аппроксимации, в то время как точное решение возможно только при полностью известном семействе распределений вероятностей полезного сигнала.

Специфика этих ситуаций состоит в том, что при некоторых предположениях оценки полезного сигнала Sn, сделанные на основе наблюдений сигнала Хп, выражаются в виде функционалов от распределения только наблюдаемых случайных величин Хп. Поскольку, однако, распределение G (sn) процесса Sn по условию не известно, то маргинальная плотность распределения f (xn) = f f (xnsn)dG (sn) наблюдаемого процесса Хп также не известна, но она может быть восстановлена по наблюдениям х" = (xi,., хп) т. Для оценивания функционалов, зависящих от неизвестного распределения, в работе применяется непараметрическии подход, основанный на ядерных оценках Розенблатта-Парзена [126, 134], обобщенных в двух направлениях: на наблюдения с зависимыми значениями и на функционалы с особенностями. Обобщение в первом направлении позволяет пользоваться динамическими моделями наблюдений [34] и строить сходящиеся непараметрические оценки условных функционалов по слабозависимым наблюдениям [23, 64]. Обобщение во втором направлении обеспечивает возможность построения устойчивых непараметрических оценок с «хорошими» свойствами, т. е. оценок, не принимающих бесконечных значений [63, 37].

Разработанные в настоящее время методы непараметрического ядерного оценивания в основом посвящены оцениванию так называемых «базовых» (по теминологии Г. М.Кошкина) функционалов от распределения где д{х) — известная функция, a F (x) — неизвестная функция распределения. Сюда, в частности, относятся задачи оценивания плотности вероятности и ее производных. Достаточно полная и красивая теория напараметрического ядерного оценивания таких функционалов в метрике L изложена в монографии JI. Девроя, JI. Дьёрфи [18, 1988]. Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика L не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки, представляющие собой условное среднее, минимизируют среднеква-дратический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные в [129, 54] ядерный оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общей стохастической зависимостью, о которой говорилось выше. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.

Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала Sn сходятся к оптимальным байесовским оценкам в различных метриках (в зависимости от условий). По терминологии 70-х годов такие системы относятся к самообучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.

Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов), которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А. Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.

Развиваемая в диссертации теория непараметрического оценивания сигналов базируется на 4-х основных положениях: теории условно-марковских процессов Р. Стратоновича [90], идеях эмпирического байесовского подхода Г. Роббинса [87], условно-экспонентном семействе распределений для описания моделей наблюдений [24] и методах непараметрического оценивания функционалов по зависимым наблюдениям [34]. Если говорить предельно кратко, то в диссертации делается следующее. Для описания помех и моделей наблюдения используется достаточно представительное условно-экспонентное семейство распределений, позволяющее работать как со статическими, так и с динамическими моделями. Подстановка условно-экспонентного распределения в уравнение преобразования апостериорных вероятностей Р. Стратоновича после некоторых манипуляций приводит в общем случае к нелинейному уравнению относительно оптимальной оценки, все члены которого удается выразить через известные функции и функционалы от распределений наблюдаемых величин. Поскольку в условиях непараметрической априорной неопределенности эти функционалы неизвестны, то остается воспользоваться техникой непараметрического оценивания функционалов и обобщить ее на случай зависимых наблюдений, так как в исходных моделях наблюдения получаются зависимыми.

В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соответствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством «сильного перемешивания», которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса Sn. Поэтому возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал свойством сильного перемешивания. Эта задача решена в первой главе. В работе принята тройная нумерация формул, теорем, лемм, рисунков и таблиц: первое число — номер главы, второе — номер раздела, третье —формулы, теоремы, леммы, и т. д. в пределах раздела. Часть результатов получена совместно с А. Ю. Веретенниковым и Г. М. Кошкиным. Автор признателен О. Е. Юскаевой за помощь в наборе текста диссертации на ПК.

Диссертационная работа выполнялась в соответствии с планами научно-исследовательской работы Института проблем управления им. В. А. Трапезникова РАН, а также по программам, поддержанным грантом РФФИ 98−01−296 «Непараметрическое оценивание функционалов от распределений по зависимым выборкам» (1998;2000г.г руководитель Кошкин Г. М.) грантом РФФИ 96−01−14 080. Проект по изданию монографии. (1996г., руководитель Добровидов А.В.).

Целью настоящей работы является разработка методов оценивания полезных сигналов с неизвестным априорным распределением по последовательности наблюдений, генерируемых динамическими системами авторегрессионного типаисследование условий слабой зависимости случайных величин, генерируемых динамическими системами авторегрессионного типаисследование и разработка методов непараметрического ядерного оценивания некоторых условных функционалов от распределения вероятностей по слабозависимым наблюденияманализ асимптотических свойств получаемых оценок.

Методы исследования.

На основе теории условно-марковских процессов Р. Стратонови-ча [90] и эмпирического байесовского подхода Г. Роббинса [87] решена задача построения уравнений для оптимальных оценок обработки сигналов в условиях неизвестного априорного распределения полезного сигнала. Специфика полученных уравнений состоит в том, что они зависят только от известных функций и функционалов от неизвестных распределений наблюдаемого случайного процесса. Для оценки этих функционалов используются непараметрические ядерные оценки Розенблатта-Парзена [126, 134], обобщенные на слабозависимые наблюдения. Анализ свойств полученных оценок проводится с помощью аппарата теории вероятностей, математической статистики, теории случайных процессов и теории матриц. При решении иллюстративных примеров используется имитационное моделирование на ПК.

Научная новизна.

1. Найдены условия слабой зависимости процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Доказаны теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Получены условия среднеквадратической сходимости устойчивых аппроксимаций непараметрических оценок подстановки функционала в виде логарифма градиента многомерной плотности вероятности, через который выражаются оптимальные оценки фильтрации, интерполяции и прогноза полезного сигнала.

4. Введено условно-экспонентное семейство распределений, позволяющее описывать динамические системы наблюдения.

5. Построены и исследованы уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Особенность этих уравнений состоит в том, что в них входят функционалы от распределения только наблюдаемых случайных величин.

6. Решены задачи непараметрического оценивания рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

7. Введено понятие асимптотически € — оптимальных процедур фильтрации, позволяющих находить непараметрические оценки по одной достаточно длинной реализации наблюдаемого процесса.

8. Получены уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Эти уравнения позволяют решать задачу оценивания моментов изменения свойств случайных процессов, когда распределение вероятностей и переходные вероятности значений марковской цепи, управляющие коэффициентами уравнения наблюдения, не известны.

Практическая ценность.

Предложенные в диссертации методы и алгоритмы оценивания частично наблюдаемых процессов разработаны с учетом существующих потребностей практики и позволяют в условиях непараметрической неопределенности решать задачи стохастической теории управления (фильтрации, интерполяции, прогноза, обнаружения, оценивания моментов изменения свойств процессов), радиосвязи, имитационного моделирования, когда классические методы оказываются неприменимыми.

Внедрение результатов работы.

Программное обеспечение ряда непараметрических процедур обработки сигналов использовано в работах по спецтематике.

На защиту автором выносятся следующие основныеположени.

1. Условия сильного перемешивания процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Способ описания динамических систем наблюдения с помощью распределений из условно-экспонентного семейства, позволивший получить уравнения оптимальной обработки сигналов.

4. Уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Непараметрические аналоги уравнений оптимальной обработки сигналов.

5. Непараметрическое оценивание рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

6. Процедура асимптотически е— оптимальной фильтрации, позволяющая аппроксимировать по определенному критерию немарковский процесс наблюдения марковским соответствующей связности и затем находить непараметрические оценки полезного сигнала по одной достаточно длинной реализации наблюдемого процесса.

7. Уравнения оптимальной фильтрации и интерполяции конечнозначных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Непараметрический вариант задачи об оценивании моментов изменения свойств случайных процессов.

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и совещаниях:

II, III, IV Всесоюзных Совещаниях по статистическим методам в управлении (Ташкент, 1971, Вильнюс, 1973, Фрунзе, 1978).

V Всесоюзное Совещание по статистическим методам в процессах управления (Алма-Ата, 1981).

IX Всесоюзное Совещание по проблемам управления (Ереван, 1983).

I, III, V-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Томск, 1974, Дивно-горек, 1981, Шушенское, 1985, Томск, 1987, Иркутск, 1991).

I Всесоюзной конференции РОАИ.1.91 (Минск, 1991).

V Международной конференции по байесовским статистикам (Alicante (Испания), 1994).

Международной конференции по проблемам управления (Москва, 1999).

III Russian-Korean Intarnational Symposium in Science and Technology (Новосибирск, 1999).

Международной конференции «Идентификация систем и задачи управления», SICPRO'2000, (Москва, 2000).

Международной конференции «Параллельные вычисления и задачи управления», РАСО'2001, (Москва, 2001).

Международной конференции «Математические модели и методы их исследования», (Красноярск, 2001).

Международной конференции «Идентификация систем и задачи управления», SICPRO'2003, (Москва, 2003).

По результатам выполненных исследований опубликованы 1 монография [34] и 26 печатных работ [4], [12], [14], [16], [20]-[29],[30],[31], [32],[33], [34] [36], [37], [38]-[41],[42]. Структура диссертации.

Работа состоит из введения, семи глав, заключения, списка литературы и приложения, включающего доказательства результатов.

Во введении обосновывается актуальность темы исследования, обсуждается история возникновения задачи, ее источники и составные части, дается краткий обзор основных результатов по рассматриваемой тематике, определяются цели и пути исследования.

В первой главе исследуются свойства процессов, порождаемых статическими и динамическими моделями наблюдений. Поскольку в первую очередь нас интересует свойство слабой зависимости наблюдений, то формально дело сводится к изучению некоторых преобразований над случайным процессом, обладающим свойством слабой зависимости. В качестве такого свойства рассматривается свойство «сильного перемешивания». В главе сформулирован и доказан результат о том, что процесс наблюдения, удовлетворяющий уравнению авторегрессионного типа с переменными коэффициентами, управляемыми стационарным марковским процессом с сильным перемешиванием, сам является процессом с сильным перемешиванием.

34]. Этот результат позволяет доказать сходимость непараметрических процедур оценивания, использующих наблюдения динамических моделей. В этой же главе содержится важный для практики результат, позволяющий корректно использовать повторную выборку при построении непараметрических ядерных оценок. Результаты главы можно найти в работах автора [34, 12].

Вторая глава посвящена построению и доказательству сходимости непараметрических ядерных оценок некоторых вероятностных характеристик стационарных процессов с сильным перемешиванием. В частности, доказана среднеквадратическая сходимость непараметрических ядерных оценок многомерных плотностей вероятностей и их частных производных в равномерной метрике. Найдены условия среднеквадратической сходимости и скорости сходимости «регуляризованных» непараметрических аппроксимаций функции в виде отношения градиента плотности к самой плотности, через которую выражаются оптимальные оценки полезного сигнала в уравнениях оптимальной обработки [27, 37, 32, 34].

В третьей главе рассмотрены задачи фильтрации ненаблюдаемого полезного случайного сигнала для статических и динамических моделей наблюдения. При этом предполагается, что условная плотность наблюдений принадлежит условно-экспонтному семейству распределений. Получены уравнения оптимальной фильтрации в форме, не зависящей от априорных распределений ненаблюдаемого сигнала, и их непараметрические эквиваленты. Опираясь на результаты первых двух глав, доказана среднеквадратичесая сходимость непараметрических оценок к оптимальным оценкам с полной статистической информацией. Введено понятие асимптотически б— оптимальной фильтрации, позволяющей строить сходящиеся непараметрические оценки сигнала по одной реализации наблюдаемого процесса. Результаты этой главы опубликованы в работах автора [20, 21, 22, 23, 24, 25, 29, 34, 35, 36, 30, 32, 42].

В четвертой главе представлены результаты решения задачи интерполяции полезного случайного сигнала, быть может нелинейно связанного с помехой. В предположении, что условная плотность наблюдений принадлежит условно-экспонентному семейству, получено уравнение оптимальной нелинейной интерполяции и его непараметрический аналог. Приведены примеры, иллюстрирующие работу алгоритмов непараметрической интерполяции. Рассмотренные в этой главе вопросы нашли отражение в следующих работах автора [29, 34].

Пятая глава посвящена задачам прогноза наблюдаемого случайного процесса и ненаблюдаемой компоненты марковского случайного процесса. Выведены уравнения оптимального прогноза и его непараметрические варианты. Показано, как построить непараметрические оценки прогноза по одной реализации наблюдаемого случайного процесса. Полученные в данной главе результаты опубликованы в работах автора [28, 29, 34].

В шестой главе исследуются вопросы построения непараметрических оценок рисков, которые характеризуют качество оценок сигналов, полученных в главах 3−5. Для каждого из трех видов обработки сигналов определены функционалы от неизвестного распределения наблюдений, явно не зависящие от характеристик ненаблюдаемого полезного сигнала. Для этих функционалов строятся «регуляризованные» непараметрические приближения, называемые эмпирическими оценками рисков. Исследуется сходимость эмпирических оценок рисков. Приведены примеры вычисления рисков для каждого случая обработки сигнала. Результаты по рискам опубликованы в работах автора [20, 22].

В седьмой главе изучаются методы выделения стационарных скачкообразных марковских цепей с неизвестными переходными вероятностями состояний. Дискретность множества состояний марковской цепи позволяет изучать более общие, чем авторегрессионные, модели наблюдения. Рассматриваются две задачи: фильтрации и интерполяции конечнозначных марковских цепей. Получены уравнения оптимальной обработки для обоих случаев в форме, не зависящей от априорных характеристик марковской цепи. Последнее свойство позволяет выписать непараметрические аналоги этих уравнений. В обоих случаях вычислены непараметрические оценки рисков, смысл которых сводится к вероятности принять ошибочное решение. Исследуется сходимость предложенных процедур. Рассмотренные в этой главе вопросы нашли отражение в работах автора [34, 31, 41].

7.5. Выводы.

В седьмой главе получены уравнения оптимальной фильтрации и интерполяции скачкообразных марковских процессов (марковских цепей), управляющих изменением коэффициентов динамических систем, описываемых уравнением (7.1.1) более общего вида, чем уравнения авторегрессии с изменяющимися коэффициентами, которые рассматривались ранее. При этом условная плотность наблюдений не обязана принадлежать экспонентному семейству распределений. Получить свойство с.п. в таких более общим моделях пока что не удалось, однако мы развиваем для них методы непараметрического оценивания в надежде, что условия с.п. в моделях типа (7.1.1) будут в скором времени найдены.

Математической моделью скачкообразного марковского процесса служит стационарная марковская цепь. В соответствии с концепцией эмпирического байесовского подхода во всех полученных уравнениях апостериорные вероятности состояний марковской цепи выражаются через характеристики наблюдаемого процесса (см. ур-ния (7.2.9) и (7.3.6)). В качестве таких характеристик в данном случае выступают условные плотности наблюдений f (xnjx" -1) и их производные по хп или их урезанные варианты f{xnx^zl). Для последних строятся сходящиеся непараметрические приближения.

В качестве примера приложения предлагаемых методов рассмотрена задача определения моментов изменения свойств случайных процессов, когда в модели наблюдения коэффициенты изменяются скачком в неизвестные случайные моменты времени. Предполагается, что распределение значений скачков и матрицы переходных вероятностей неизвестны. На примере модели авторегрессии со случайно изменяющимися коэффициентами показано, что процедура интерполяции, учитывающая информацию до и после момента измерения, приводит к лучшим результатам по сравнению с оптимальной фильтрацией в этот же момент времени, где информация учитывается только до момента измерения.

ЗАКЛЮЧЕНИЕ

.

В классических методах решения задач обработки случайных сигналов (фильтрации, интерполяции, прогноза) при получении оптимальных байесовских оценок предполагаются заданными распределение ненаблюдаемого случайного процесса (возможно, вместе с уравнением состояния), модель наблюдения и распределение помехи. Модель наблюдения чаще всего описывает способ измерения сигнала определенными приборами, при конструировании которых закладывается уравнение связи наблюдаемой последовательности с полезным сигналом и помехой. Закорачивая вход прибора измерения мы получаем на выходе сигнал, порождаемый одной помехой, так что данные для восстановления распределения помехи всегда можно получить. Что же касается полезного сигнала, то он в чистом виде почти никогда не наблюдается и, следовательно, данные для восстановления его распределения отсутствуют. Не имея хотя бы приближенной формы распределения полезного сигнала, весьма сложно, если не невозможно, выбрать содержащее его конечно-параметическое семейство распределений, а значит для решения задач обработки сигналов в этом случае нельзя воспользоваться классическими методами оценивания параметров распределений (например, методом максимального правдоподобия). Поэтому возникает вопрос: нельзя ли в условиях неизвестного распределения полезного сигнала построить его приближенные оценки, которые асимптотически (при увеличении длины наблюдаемой реализации) обладали такими же свойствами, как байесовские оценки, полученные при полной статистической информации? Оказывается, что при некоторых условиях такие оценки построить можно.

В диссертации предлагается общий подход к решению задач обработки случайных сигналов с неизвестным распределением. Этот подход предполагает, что модель наблюдения и распределение помехи образуют условную плотность наблюдений при фиксированном полезном сигнале, принадлежащую условно-экспонентному семейству плотностей (3.8.2). Это семейство является достаточно представительным и содержит такие известные распределения, как гауссовское, X2 -распределение, экспоненциальное, все семейство (3 -распределений, часть распределений системы Пирсона и др. Распределение наблюдаемого процесса ввиду произвольности априорного распределения полезного сигнала нельзя поместить в какое-либо параметрическое семейство распределений. Поэтому для оценки его используются непараметрические ядерные процедуры.

Принадлежность экспонентному семейству, с одной стороны, сужает класс рассматриваемых моделей наблюдения, но с другой стороны значительно расширяет его за счет того, что решение задачи перестает зависеть от конкретного распределения полезного сигнала. Дело в том, что в рамках приведенных условий оптимальную байесовскую оценку удается выразить через вероятностные характеристики только наблюдаемого случайного процесса (см. уравнения (3.9.3),(4.2.7),(5.2.9),(7.2.9)). В этом состоит кокретное выражение эмпирического байесовского подхода Г. Роббинса, вызвавшего большой интерес в шестидесятые годы прошлого века. Остается для неизвестных характеристик наблюдаемого процесса построить сходящиеся непараметрические оценки. На этом пути и возникли новые математические проблемы, связанные со свойством слабой зависимости в динамических моделях наблюдений (глава 1), а также с условиями сходимости непараметрических процедур по слабо зависимым наблюдениям (глава 2). При этом оказалось, что непараметрические оценки характеристик наблюдаемых процессов, входящих в уравнения для оценок полезного сигнала, представляют собой функционалы с особенностями (т.е. они могут принимать бесконечные значения). Поэтому пришлось создавать способы регуляризации, приведшие к разработке кусочно-гладких аппроксимаций, позволивших получить устойчивые непараметрические оценки. Для этих оценок удалось доказать не только среднеквадратическую сходимость, но и определить скорость их сходимости. Это в свою очередь привело к разработке улучшенных по скорости сходимости непараметрических ядерных оценок за счет специального выбора ядерных функций и коэффициентов размытости.

В шестой главе приведены непараметрические оценки рисков, определяющих в теории решений качество оценок сигналов в задачах их обработки. Здесь удалось доказать лишь сходимость по вероятности из-за наличия в подынтегральном выражении неизвестной функции. Такая оценка непосредственно не укладывается в общую схему базовых и характеризационных функционалов, рассматриваемых в [34].

В седьмой главе ненаблюдаемый случайный сигнал представляет собой марковскую цепь с известным конечным множеством состояний и неизвестными матрицами вероятностей переходов. По сравнению с предыдущими главами такое упрощение позволяет, с одной стороны, рассмотреть более общие (чем авторегрессионные) модели наблюдений, а с другой — отказаться от экспонентности условной плотности наблюдений при фиксированном сигнале. В этой достаточно общей ситуации снова удается построить уравнение относительно апостериорных вероятностей, зависящее лишь от характеристик наблюдаемого процесса. Принцип эмпирического байесовского подхода не нарушается и в этой последней задаче.

В целом предлагаемая диссертация представляет собой законченное научное исследование в том смысле, что для выбранного класса задач приводятся все явные решения, даже в случае функционалов с особенностями. С другой стороны развиваемый подход не замыкается сам на себя и порождает много новых задач, некоторые из которых приведены ниже.

1. Найти условия сильного пермешивания для динамических моделей типа (7.1.1).

2. Корректный выбор начального значения коэффициента размытости в непараметрических ядерных оценках.

3. Строгое решение задачи интерполяции для динамических моделей.

4. Условия среднеквадратической сходимости оценки рисков. Это означает, что теоретические положения развиваемого здесь подхода стимулируют дальнейшее развитие в данной области статистической теории управления.