О скорости сходимости статистик критериев согласия со степенными мерами расхождения к хи-квадрат распределению

Мы рассматриваем вектор У = (Yi,., Yk) T, имеющий полиномиальное распределение 7г), т. е. iK'/ЧО. nj = о, 1,., п 0' = 1,.д-).

Pr (Yi = щ,., Yk = пк) = < О и Ej=i «j = иначе где 7 г = (-7Г1,., TXk)1, 7Tj > 0, i = 1 • Мы предполагаем, что число ячеек группировки к фиксировано. Далее будем считать выполненной основную гипотезу Hq: 7 г = р. Если изначальное распределение было отлично от полиномиального, вектор р состоит из теоретических вероятностей попадания случайной величины, имеющей исходное распределение, в соответствующие ячейки.

Основным объектом изучения в настоящей работе является построенное по вышеуказанному распределению семейство степенных статистик согласия tx (Y) =.

22-У jmJ l).

Замечание 1. При Л = 0,-1 эту запись следует понимать как результат предельного перехода.

Замечание 2. Эти статистики были впервые введены в работах [20] и [47] и обозначались 2nIx (Y). Полагая, А = 1, А = — и, А = 0 получаем статистику х2 > статистику Фримана-Тьюки и логарифмическую статистику отношения правдоподобия соответственно.

Предполагая выполненной основную гипотезу, рассмотрим преобразование.

X, — = (Yj — nPj)/yfii, j = 1,., к, г = к — 1, X = (Хг,., ХГ) Т (2).

Здесь вектор X — это вектор, компоненты которого сосредоточены на решетке вида.

L = {х = (xi,., xry ] X = (~7=)(т — Tip), p=(pi,., рг) г, т — (щ,. ., пг) Т}, v п где rij — неотрицательные целые числа. Кроме того, поскольку компоненты вектора Y в сумме всегда равны п, мы можем положить Xk = —{Xi + ¦¦¦ + Xr). Величина г, таким образом, определяет размерность нашей задачи.

Замечание 3. Простой подстановкой легко проверить, что статистика t (Y) может быть представлена как функция от X в виде к / / Л+1 rrw Ч 2П.

Тх{х) =.

А (А + 1).

— 1.

3) а затем, посредством разложения по Тейлору, преобразована к виду n fx? (А — 1)(А — 2) xf / з\ i2rfn +°И) — «.

Хорошо известен тот факт, что распределение всех статистик семейства t (Y) сходится к распределению хи-квадрат с к — 1 степенями свободы (см., например, работу [20], с. 443). Однако если мы захотим использовать асимптотические методы статистики, например, для расчета доверительных интервалов, нам необходимо будет знать меру близости исходного и предельного распределений. В связи с этим большой интерес представляет проблема оценки скорости сходимости членов семейства к предельному распределению хи-квадрат.

Функцию распределения статистик семейства Р (Т (Х) < с) можно записать в виде вероятности попадания случайного вектора X, имеющего решетчатое распределение, в некоторое множество Вх{с).

Одним из важных источников по оценке такого рода вероятностей является работа Дж. Ярнольда [52]. Для того чтобы уяснить суть изложенных в ней результатов необходимо рассмотреть обобщение выпуклых множеств (с достаточно гладкой границей), которые в специальной литературе получили название обобщенных выпуклых множеств. Мы назовем множество В С Rr обобщенным выпуклым, если для V/ = 1, г оно представимо в виде:

В = {х = (жь ., xr) T: Ai{x*) < xi < 9i{x*) и х* = (xi,., xii, xi+i, xr) T 6 Bi}, (5) где Bi — некоторое подмножество Mr1 и Ai (x*), 9i (x*) представляют собой непрерывные функции на Rr1. Другими словами, сечения обобщенного выпуклого множества, параллельные каждой из наличествующих координатных осей, представляют собой интервалы.

В своей работе Ярнольд рассматривал многомерный случайный вектор с решетчатым распределением, вероятность попадания которого в некоторое борелевское множество необходимо оценить. Этот случайный вектор центрируется и нормируется, после чего соответсвующая вероятность оценивается с помощью многомерных разложений Эдж-ворта. В первом приближении они логичным образом дают аппроксимацию многомерным центрированным нормальным распределением. Предположим, что объектом изучения является вероятность попадания нормированного и центрированного указанным выше образом вектора X в обобщенное выпуклое множество В. Предполагается, что этот вектор имеет достаточное количество абсолютных моментов. Для такой вероятности Дж. Ярнольд в своей работе [52] получил асимптотическое разложение, которое в работе [49] было преобразовано к виду.

Рг (Х е В) = J1 + J2 + 0{n~l). (6).

Члены этого разложения имеют следующий вид.

J = J jl + -^/ii (aO + i/i2(®)j dx, где (7).

Ikj /с? >

2/ о X v л /.

9) е •-Е.

Шх.

Ib,.

Si (y/nxi + пр1) ф (х)]в^ dxi,—-, dxi;

10).

Lj — {x: Xj — {—={rij — npj)): rij и pj определены как и раньше}- V п.

И).

Si (x) = х — L^cJ — L^J ~ целая часть х (12) ф (х) =-J-г ехр (-xTtt~lx). (13).

У J (2тг)5|П|1 V 2 J к J.

Замечание 4. Матрица Q есть ковариационная матрица вектора X. Учитывая, что этот вектор получен из полиномиального вектора Y, нетрудно показать, что Г2 = (5j pi — PiPj) G R^-1)*^-1). Определитель этой матрицы равен Pi ¦

Замечание 5. Если распределение абсолютно непрерывно, то известно, что для него выполнено так называемое условие Крамера: для характеристической функции h (t) имеем lim sup^.,^ h (t) < 1. В работе [46] показывается, что для распределений, удовлетворяющих условию Крамера и имеющих достаточное количество моментов, справедливо разложение, аналогичное (6), но без члена J2 — Таким образом, величину J можно интуитивно понимать как разложение Эджворта до порядка 0(~) для непрерывной части распределения, в то время как величина J2 появляется как дополнительный корректирующий член для решетчатых распределений.

Определим Вх как {х Т (х) < с}. Наша задача состоит в оценке аппроксимации функции распределения статистики Т (Х), и, следовательно, в оценке вероятности попадания случайного вектора X в множество Вх. Из теоремы 2 работы [52], которую можно применить к множеству Вх, следует, что для члена J2 имеет место первоначальная оценка вида J2 = О. Однако для получения окончательных оценок необходимо также оценить J .

Вначале был получен ряд результатов для отдельных значений Л. Сам Ярнольд в той же работе [52] исследовал разложение (6) для наиболее известной из степенных статистик согласия — статистики хи-квадрат. Нетрудно показать, что множество В1 будет представлять собой эллипсоид, который является частным случаем ограниченного обобщенного выпуклого множества. Дж. Ярнольд сумел упростить сумму слагаемых J и J2 в этом простом случае и привел разложение (6) к виду.

Pr (X G В1) = Кг{с)+ (N1 — n^V1) e-i/{{2im)r + (14) где К г (с) — функция распределения хи-квадрат с г степенями свободы, TV1 — число точек решетки L в множестве В1, V1 — объем множества В1. Опираясь на результат Эссеена для эллипсоидов [22], он получил оценку для второго слагаемого (14) вида 0{п~.

Замечание 6. Из сопоставления работ [52] и [24] вытекает, что для г ^ 5 (в случае статистики) оценка второго члена может быть замена на О .

Позднее японские ученые М. Шиотани и Я. Фуджикоши в работе [49] показали, что в случаях Л = О, Л = — | имеет место представление аналогичное простейшему случаю статистики х2.

Л = Кг{с) + 0(п~1) (15).

J2 = (Nx — rfiVx) е-у ((21гп)г1[к.=1р^ (16).

Vх = Vl + О. (17).

Эти результаты были дословно перенесены Т. Ридом на случай произвольного Л 6 К. Из теоремы 3.1 его работы [47] вытекает, в частности, что функцию распределения статистики Т можно разложить в следующем виде.

Рг (ТЛ < с) = Рг (хг < с) + J2 + О (тГ1). (18).

Этим задача оценки погрешности аппроксимации предельным распределением сводится к оценке порядка малости члена ¦

Замечание 7. Работа [49] стала широко известной после публикации в Hiroshima Mathematical Journal в 1984 г. Однако она была доступна еще в 1980 г. в виде технического отчета Статистической исследовательской группы университета г. Хиросима. Поэтому неудивительно, что обобщение результатов японских ученых на случай произвольной статистики семейства под авторством Т. Рида было опубликовано в том же 1984 г., но чуть раньше результатов М. Шиотани и Я. Фуджикоши.

Перейдем к основным идеям настоящей работы. Для того чтобы оценить скорость сходимости к хи-квадрат распределению, автору нужно было провести исследование в двух направлениях:

1. Во-первых, проверить, можно ли получить содержательную оценку остаточного члена в (16) (второе слагаемое в (16) не было оценено в предыдущих работах).

2. При условии, что задача оценки указанного остаточного члена выполнена, попытаться найти подходы к оценке главной части члена J2, доступной в явном виде благодаря работам [49] и [47], посвященным построению асимптотических разложений для функции распределения степенных статистик согласия.

Заметим, что в числителе главной части члена J2 мы имеем разность числа точек решетки, попападающих в множество Вх, и нормированного объема этого множества. С помощью преобразования масштаба задача оценки такой разности сводится к оценке разности числа точек с целочисленными координатами, попадающих в множество, полученное линейным расширением из исходного, и объема этого расширенного множества. В дальнейшем будем именовать эту задачу обобщенной задачей Гаусса (обычно задачей Гаусса называют случай, когда множество представляет собой круг на плоскости).

Хотя начало исследованиям задачи Гаусса было положено еще в XIX веке, в последние три десятилетия появилось много новых и порой неожиданных результатов. Они связаны, среди прочих, с именами таких ученых, как И. М. Виноградов [4], Д. А. Попов [13], И. Крятцель, В. Новак ([39], [40], [41], [45]), А. Ивич [27], а также В. Бенткус [18], Ф. Гётце ([24]) и М. Хаксли ([35], [36], [37], [38]). Современные формулировки оперируют вместо круга с выпуклыми множествами произвольной размерности, полученными линейным расширением из некоторого фиксированного множества. Это делается для того, чтобы можно было перейти от точек с целочисленными координатами (далее целых точек), попадающих в множество, к точкам на разнообразных решетках. Например, если решетка дана формулой (11), то мы можем рассматривать приближение числа точек этой рещетки, попадающих в множество В, нормированной площадью В. При этом мы можем использовать результаты исследования обобщенной задачи Гаусса для множества, полученного из В линейным расширением в л/п раз.

За более подробным изложением отдельных последних результатов решения обобщенной проблемы Гаусса автор отсылает читателя к вышеупомянутым работам, а также к работе [44]. Подробный сводный обзор приведен в [27]. Мы лее отстановимся более подробно лишь на двух результатах, существенно использованных в работе. Как уже упоминалось в предисловии, работа шла вначале над случаем, когда исследуемые статистики имеют лишь три слагаемых (что соответствует трем ячейкам группировки). Мы пытались отработать технику, которая могла бы быть использована при исследовании случая произвольной размерности.

За основу был взят относительно недавний и весьма точный результат Хаксли от 1993 г. Мы приводим здесь его полную формулировку.

Теорема 1. (Хаксли, 1993) Пусть В — выпуклая евклидова плоская область площади А, ограниченная простой замкнутой кривой С, состоящей из конечного числа частей Сг, каждая из которых три раза непрерывно-дифференцируема в следующем смысле: радиус кривизны р непрерывен относительно угла смежности (тангенциального угла) ф и не равен нулю на каждой части С{, а также непрерывно-дифференцируем относительно угла смеэюности. Пусть число М достаточно велико, и пусть MB обозначает множество, образованное увеличением множества В линейно в М раз. Тогда для любого изометрического влооюения множества MB в евклидову плоскость число целых точек (т, п) в MB есть.

AM2 + О (lMm'Tlog М)315/146), (19) где I — число, зависящее от кривой С, но не от М и не от вложения множества MB.

Интерпретация этой теоремы, равно как и других утверждений такого рода, достаточно проста. Если выпуклое множество обладает достаточно гладкой регулярной границей, то количество целых точек, попадающих в его линейное расширение, может быть с хорошей степенью точности приближено площадью этого линейного расширения. Дополнительно теорема утверждает следующее.

Теорема. (Хаксли, 1993, дополнение) Если помимо вышеуказанного части Ci четырежды непрерывно дифференцируемы в том смысле, что р дважды непрерывно дифференцируем по отношению к углу смежности (тангенциальному углу) ф, то тогда мы можем взять 1 /Л ч 24−69/146 ^ (20).

1 + р2 + {dp/dif))2 J.

69/146 dp йф при условии, что М достаточно велико для выполнения неравенств Mn (logM)387/8.

• 1 1.

М ^ - and —тт Р РЫ 53 dp дф по отдельности на каждом участке Ci.

Доказательство. Смотри [37, теоремы 5 и 6, стр. 294−295 ]. ?

Это дополнение к теореме существенно для последующих рассуждений, поскольку оно позволяет нам оценить константу I. Особая сложность рассматриваемой в диссертации задачи состоит в том, что в действительности множества Вх и константа I зависят от п. В связи с этим получение итогового порядка ошибки по п возможно только после получения оценки сверху на I.

Необходимо отметить, что результат Хаксли не имеет прямого обобщения на случай множеств произвольной размерности, поскольку используемая им техника существенно использует тот факт, что мы находимся на плоскости. Поэтому при последующем исследовании многомерного случая был выбран другой результат из теории чисел. В виду больших технических сложностей, связанных с необходимостью проверять все условия применимости результата из теории чисел, автор был вынужден использовать результат, который не является самым точным из имеющихся, но такой, что сложность проверки условий теоремы представлялась приемлемой (это означает, что остается место для уточнения полученных в настоящей работе оценок на основе изложенной методологии).

Именно, в работе используется предложение 9 работы [32].

Теорема 2 (Е. Hlawka, 1950). Пусть D — компактное выпуклое множество в Шт, имеющее начало координат своей внутренней точкой. Объем этого множества обозначим через А. Предположим, что границей множества является т—1 -мерная поверхность класса С°°, причем всюду на ней гауссова кривизна не равна ни бесконечности, ни пулю. Также предполагается, что определенное специальным образом «каноническое» отображение единичной сферы на D взаимно-однозначно и принадлеэ/сит классу гладкости С°°. Тогда во множестве, полученном из исходного параллельным переносом на произвольный вектор и линейным расширением в М раз, количество целых точек равно.

N = АМт + О где величина I зависит только от свойств кривой С, но не от параметров М или А.

Доказательство, см. [32], с.25−28. ?

Как можно видеть, положив т = 2, этот результат дает оценку погрешности О (Мз), в то время как результат Хаксли 0(М^+е), что лучше. Также понятно, что проверка условий теоремы 2 сложнее, чем проверка условий теоремы 1. В частности, в теореме 2 константа / не задана в явном виде.

В заключение введения остановимся на идее и методах доказательства. Отметим, что исследование случая трех ячеек группировки и общего случая объединено общей концепцией. Вначале мы оцениваем остаточный член в (16), используя близость множества Вх = {х Т (х) < с} и эллипсоида В1, соответствующего статистике хи-квадрат. Это означает, что, отталкиваясь от формулы (10), мы можем заменить функции 9i (x*) и Xi (x*) на функции § i (x*) и Лi (x*), соответствующие границе множества В1. Поскольку ф (х) на границе В1 есть константа, мы можем упростить подынтегральное выражение в (10) с некоторой погрешностью, которую можно подсчитать. Оказывается, что величина, остающаяся ведущим членом после этих преобразований, настолько похожа на соответствующий член из разложения для эллипсоидов, что к ней применимы рассуждения работы Ярнольда [52] (стр. 1571−1572), позволяющие свести оценку J2 к оценке величины.

Nx — nWx) е-5/ ((2ттп)г J]*=i.

На втором этапе мы рассматриваем линейное расширение множества Вх с фактором у/п, соответствующим преобразованию координат (2). Мы проверяем условия применимости соответствующей теоремы из теории чисел и получаем искомый результат.

Однако практическая реализация изложенного алгоритма для частного и общего случаев существенно раличается. Это связано не в последнюю очередь с тем, что используются разные вспомогательные результаты: в многомерном случае вместо радиуса кривизны приходится оперировать с Гауссовой кривизнойпри этом возникает необходимость в использовании не только методов дифференциальной геометрии, но и оптимального управления, тензорного исчисления (эти методы изложены в работах [5], [11], [14], [19]). Помимо этого в случае трех ячеек группировки оказывается возможным напрямую использовать близость функций 9i (x*) и Oi{x*) (i{x*) и Л/(ж*) соответственно). Однако в общем случае из-за наличия в J.

Результаты работы, безусловно, очерчивают перспективу возможных дальнейших исследований на пути к получению полнофункциональных статистических критериев, использующих различные статистики семейства. Одно из возможных направлений — применение более точных результатов из теории чисел для уточнения оценок скорости сходимости к предельному распределению с частичным использованием наработанной техники. Также можно вместо основной гипотезы рассмотреть альтернативную и искать скорость сходимости к предельному распределению в этом случае. Наконец, важным аспектом является оценка констант, входящих в ошибку аппроксимации предельным распределением..

Заключение.

В работе диссертанта исследуется скорость сходимости семейства степенных статистик согласия к хи-квадрат распределению. Рассматривается как случай на плоскости, так и общий случай без наложения ограничений на размерность. Подтверждена непосредственная связь задачи оценивания скорости слабой сходимости степенных статистик согласия с известной задачей из теории чисел, впервые указан алгоритм, посредством которого эта связь может быть использована для получения оценок скорости сходимости. Полученные в работе оценки справедливы для произвольных степенных статистик согласияпри этом они сопоставимы, а в некоторых случаях превосходят по точности имеющиеся результаты для хи-квадрат статистики..