Асимптотически нормальное оценивание параметров для класса задач дробно-линейной регрессии

Регрессионный анализ — один из наиболее широко распространенных статистических методов, использующийся при построении математической зависимости на основе экспериментальных данных. Трудно перечислить все сферы человеческой деятельности, где применение метода было плодотворным.

Родоначальником регрессионного анализа принято считать К.Гаусса. На рубеже XVIII и XIX столетий К. Гаусс (и независимо от него А. Лежандр) заложили основы метода наименьших квадратов (МНК). Поводом для создания этого метода, составляющего математическую основу регрессионного анализа, послужили актуальные проблемы астрономии, а затем и геодезии. Усилиями поколений ученых многих стран была развита теория, ставшая теперь классической. При столь долгой истории регрессионного анализа можно было бы ожидать, что он давно полностью изучен, остановился в своем развитии и перестал интересовать специалистов. Но это далеко не так: достаточно взглянуть на публикации в статистических журналах за последние 10−15 лет чтобы увидеть, что и в настоящее время регрессионный анализ развивается достаточно интенсивно.

Примерно 150 лет, до середины XX века, длился классический период регрессионного анализа. К алгебраической процедуре минимизации квадратичной формы, представляющей, собственно, метод наименьших квадратов, добавляется некоторая фиксированная система статистических постулатов, задающих математическую модель. В частности, в классическом регрессионном анализе предполагается, что измеряемые в результате эксперимента переменные — это некоррелированные нормально распределенные случайные величины с одинаковыми дисперсиями. Но со временем возникают все более сложные задачи, в которых исходные предпосылки классического регрессионного анализа выполняются далеко не всегда. Таким образом происходит пересмотр довольно жестких базовых предпосылок классического регрессионного анализа. Отказ хотя бы от одного из классических предположений фактически приводит к созданию новой модели. А последствия отказа сразу от нескольких предположений во многих случаях не исследованы. К тому же у каждого из базовых предположений есть не одна альтернатива, а целый спектр возможностей.

Заметим, что до последнего времени только в случае линейной регрессии применение метода наименьших квадратов было относительно простой задачей, поскольку только в этом случае поиск т-мерной асимптотически нормальной оценки сводится к решению системы из т линейных уравнений с известными постоянными коэффициентами.

Однако содержательные, физические модели, как правило, нелинейны по параметрам. Методология их создания составляет один из интенсивно развивающихся и заслуживающих особого внимания раздел регрессионного анализа — нелинейный регрессионный анализ. Но при решении задач нелинейной регрессии возникает целый ряд новых существенных трудностей — как идейных, так и технических. В частности, в этом случае уже невозможно в общем виде указать формулу для оценок метода наименьших квадратов. В итоге для оценивания параметров нелинейных моделей зачастую приходится прибегать итерационным методам, что, в свую очередь, порождает массу проблем, связанных с выбором начального значения, исследованием сходимости процесса и свойств построенных таким образом оценок.

Некоторые функции регрессии с помощью преобразования переменных поддаются линеаризации относительно своих параметров. Тогда параметры регрессии исходных функций находят путем обратных преобразований. Линеаризация связей дает возможность применять для нахождения оценок параметров метод наименьших квадратов, однако полученные оценки параметров исходных функций могут, к сожалению, не обладать свойствами МНК-оценок (например, свойством несмещенности).

Несмотря на огромное число публикаций по нелинейному регрессионному анализу, строгой теории нелинейной регрессии пока нет и продолжается активное развитие многих направлений этой области математической статистики.

В настоящей работе предложен и обоснован некоторый новый метод, позволяющий на первом шаге достаточно просто находить явные, асимптотически нормальные оценки параметров в специальном классе задач нелинейной регрессии, которые мы будем называть задачами дробно-линейной регресии. А именно, предложенный метод позволяет находить т-мерные асимптотически нормальные оценки как решения системы из т линейных уравнений с известными, специально подобранными коэффициентами, зависящими от наблюдений. При наличии некоторой информации о поведении дисперсий наблюдений, предложен способ нахождения асимптотически нормальных оценок и с асимптотически минимальной матрицей ковариаций. В качестве этих т-мерных оценок второго шага предлагается использовать решения некоторой системы из т-линейных уравнений с коэффициентами, которые, кроме наблюдений, зависят только от оценок, полученных на первом шаге.

Отметим, что в изучаемых в работе моделях дробно-линейной регрессии рассмотрены более общие предположения, чем предпосылки классического регрессионного анализа. В частности, в общем случае не предполагается некоррелированность и нормальное распределение ошибок. Более того, дисперсии наблюдений считаются неизвестными и различными, а также, возможно зависящими от неизвестных параметров. Предполагается, что последовательность наблюдений, дисперсий ошибок и известные числовые последовательности могут зависеть от количества наблюдений. Отметим также, что предлагаемый в работе метод оценивания для задач дробно-линейной регрессии может быть успешно использован и при классических предположениях, что показано в соответствующих примерах.

Остановимся кратко на моделях, рассмотренных в каждой из глав. Всюду далее предполагается, что в результате серии из N испытаний наблюдается последовательность случайных величин ., а через ег-, г ~ 1,., N обозначены ненаблюдаемые случайные погрешности измерений.

В главе 1 рассматривается однопараметрическая модель дробно-линейной регрессии, для которой идеи и математическое обоснование исследуемого в работе метода оценивания можно изложить достаточно просто, без привлечения значительно уменьшающих наглядность матричных обозначений. Предполагается, что последовательность наблюдений 2 г пред ставима в виде где в — неизвестный параметр, щ > 0 и > 0, г = 1,., N — некоторые известные числовые последовательности.

На первом этапе в качестве оценки неизвестного параметра в предлагается использовать некоторую оценку из класса дробно-линейных статистик с постоянными коэффициентами. С помощью классических предельных теорем для разнораспределенных величин выясняются асимптотические свойства введенных оценок. Но построенные оценки не обязаны иметь наименьший разброс. Устанавливается, что оптимальную оценку следует искать используя дробно-линейные комбинации наблюдений с коэффициентами, зависящими от неизвестного параметра, и указывается вид этих коэффициентов. Поскольку неизвестный параметр в этих коэффициентах неизбежно придется заменять на его оценку (построенную на первом шаге), то возникает вопрос об асимптотических свойствах новых оценок — оценок второго шага. Решается и эта качественно более сложная задача: исследование дробно-линейных статистик с коэффициентами, являющимися функциями от других статистик. Тем самым построена двухшаговая процедура, позволяющая, минуя длительный процесс последовательного приближения, строить явные асимптотически нормальные оценки для неизвестного параметра с минимальной асимптотической дисперсией. Подчеркнем, что в полученных результатах от упомянутых функций вместо, казалось бы, неизбежного предположения о существовании у этих функций ограниченных производных второго порядка, требуется лишь условие Липшица.

В главе 2 рассматривается общая задача дробно-линейной регрессии — оценивание неизвестного т-мерного параметра в с координатами в^ > 0, j = 1,., т, в предположении, что результаты эксперимента пред ставимы в виде т.

ЙОг + X).

2* =-ш1-+ <�ч-, I = 1,., N,.

1 +? М- 1 то есть числитель и знаменатель — это линейные функции, зависящие от неизвестного т-мерного параметра в с координатами ,., вт (этим и объясняется использование термина дробно — линейные модели для изучаемых задач регрессии). Числа Ь^ > 0, а0г-, а% = 1,., И, ^ — 1,., т, предполагаются известными.

Основная цель второй главы — описать в общем виде предлагаемый метод построения оценок и схему изучения этих оценок, а также продемонстрировать ряд идей, которые могут быть использованы при изучении полученных оценок.

В третьей главе изучается модель, порожденная широко используемым в естественных науках двухпараметрическим уравнением Михаэлиса — Ментен. Следуя терминологии, принятой при изучении этого уравнения, известная числовая последовательность обозначается через ., ¿-дг, через К и V — неизвестные параметры, и введенные величины связаны между собой следующим соотношением:

К + Si.

Эта модель является важным частным случаем рассмотренной в главе 2 общей задачи дробно-линейной регрессии. При изучении оценок параметров К и V наглядно продемонстрировано применение многих идей второй главы, что без дополнительных предположений было невозможно для общей задачи дробно-линейной регрессии. Также при изучении оценок используется техника исследования дробно-линейных статистик с коэффициентами, являющимися функциями от других статистик, развитая в первой главе.

О структуре работы. Диссертация состоит из введения, трех глав, которые делятся на пункты (п. 1.1−1.6, п. 2.1−2.8, п. 3.1−3.7), и списка литературы. Некоторые из пунктов для удобства чтения разбиты на подпункты. Все теоремы, леммы, замечания и примеры идентифицируются набором из двух чисел, первое из которых соответствует номеру главы, а второе указывает на поря-ковый номер утверждения в этой главе: например, лемма 1.15 является пятнадцатой леммой первой главы. Нумерация формул в работе также двойная и сквозная внутри каждой главы: первая цифра указывает на номер главы, а вторая — на порядковый номер формулы в этой главе.

Список литературы

составлен последовательно по двум алфавитам — русскому и английскому. Работы автора помещены в конце списка.

1. Zivin J.A., Waud D.R. (1982) How to analyze binding, enzyme and uptake data: The simplest case, a single phase. Life Scienses 30, 1407−1422.

2. Линке Ю. Ю., Саханенко А. И. Асимптотически нормальное оценивание параметра в задаче дробно линейной регрессии. // Сибирский Математический Журнал, 2000, Т.41, N. l, С.150−163.

3. Линке Ю. Ю. Явное асимптотически нормальное оценивание параметра для некоторой многомерной задачи нелинейной регрессии. // Сибирский журнал индустриальной математики, 2000, T. III, N 1(5), С.157−164.

4. Линке Ю. Ю., Саханенко А. И. Асимптотически нормальное оценивание многомерного параметра в задаче дробно линейной регрессии. //Сибирский Математический Журнал. 20с. (сдано в печать).

5. Линке Ю. Ю., Саханенко А. И. Явное асимптотически нормальное оценивание параметров уравнения Михаэлиса Ментен. // Сибирский Математический Журнал. 28с. (сдано в печать).

6. Линке Ю. Ю. Асимптотически нормальное оценивание параметра в задаче дробно линейной регрессии. // VII Междунардная Конференция. Математика. Экономика. Экология. Образование. Ростов-на-Дону, 1999. Тезисы докладов, С. 117.

7. Линке Ю. Ю., Саханенко А. И. Асимптотически нормальное оценивание параметров в уравнении Михаэлиса Ментен. // Четвертый сибирский конгресс по прикладной и индустриальной математике (ИНПРИМ-2000). Новосибирск, 2000. Тезизы докладов. Часть III. С.16−17.

8. Линке Ю. Ю. Асимптотически нормальное оценивание параметра в задаче дробно линейной регрессии. //Материалы XXXV Мемсдунардной Научной Студенческой Конференции, Новосибирск, 1997, С.60−61.

9. Линке Ю. Ю. Двухшаговый метод асимптотически нормального оценивания параметра в задаче нелинейной регрессии. //Материалы XXXVI Междунардной Научной Студенческой Конференции, Новосибирск, 1998, С.70−71.