О мощности критерия знаков в случае распределения Лапласа

В 1774 году Пьер-Симон Лаплас в своей статье «Sur la probabilite des causes par les evenements» (см. [38] и литературу там) предложил естественный вероятностный закон для ошибки измерений в такой формулировке: логарифм частоты ошибки есть линейная функция абсолютного значения ошибки. Естественность этого вероятностного закона он объяснял так: «Чем дальше результат измерения от истинного значения, тем менее вероятным он должен быть, при этом такое уменьшение вероятности не может быть постоянным. Поскольку нет причин считать, что с ростом ошибки сами вероятности и последовательные разности между вероятностями убывают по-разному, то следует приравнять отношения двух бесконечно близких разностей вероятностей и двух бесконечно близких вероятностей. Интегрирование этого равенства показывает, что вероятность ошибки выражается как экспоненциальная функция самой ошибки независимо от ее знака». Назвав этот закон первым законом для ошибки измерений, который исторически является первым вероятностым распределением с неограниченным носителем, Лаплас уже через 4 года в своей фундаментальной работе «Theorie Analytique» (см. [38] и литературу там) рассматривает второй вероятностный закон, который гласит: логарифм частоты ошибки измерений есть квадратичная функция ошибки. Именно этот второй закон благодаря хорошим аналитическим свойствам будет детально исследоваться все последующее время, получит название «нормальное распределение» и займет главное место в теории вероятностей вследствие центральной предельной теоремы. Лишь спустя почти 150 лет известный экономист и математик Дж. Кейнс (см. [38] и литературу там) напомнит о существовании первого закона для ошибки измерений и получит его вновь из предположения, что наиболее вероятное значение измеряемой величины есть ее медиана. Следом за ним известный математик Э. Уилсон (см. [38] и литературу там) с помощью непараметрических методов покажет на одном примере, что распределение отклонений от медианы измерений является скорее первым законом Лапласа, нежели нормальным законом. Спустя еще почти 50 лет в научной литературе (см. [38] и литературу там) все чаще стали появляться предложения использовать первый закон Лапласа в качестве основного распределения для экономических, биометрических и демографических данных в противовес нормальному распределению.

В наши дни первый закон Лапласа называют распределением Лапласа. Это распределение задается характеристической функцией (см. обзор в работе [2]) или плотностью.

1{х) = —^ехр (-^Н-), СГ > 0, Ж6Е1. (2) а у 2 а).

Другое название — двойное экспоненциальное распределение — указывает на возможность получения его как разности двух независимых одинаково распределенных экспоненциальных величин, которые часто используются при описании продолжительности жизни наблюдаемых объектов (см., например, [2]). Приведем рассуждения из работы [2]: пусть X и X' — независимые случайные величины с одной и той же функцией распределения F (x). Характеристическую функцию, соответствующую функции распределения обозначим /(я). Тогда характеристическая функция случайной величины X — X' имеет вид.

Еехр{гзХ^} = Еехр{гв (Х — X')} = /(*)/(-*) = №№ = 1/М12, ^ е к1 черта сверху означает комплексное сопряжение). Последняя характеристическая функция вещественна, следовательно, распределение, ей соответствующее, является симметричным в том смысле, что для любого х > 0.

Р (Х (Я> < -х) = > х).

Распределение, соответствующее характеристической функции |/(5)|2, называется сверточной симметризацией распределения Р (х), а случайная величина соответственно, называется сверточной симметризацией случайной величины X (см., например, [2]).

Рассмотрим случайную величину X со стандартным показательным (экспоненциальным) распределением.

Р (Х < ж) = (1 — е~х)1{х ^ 0) = Е{х). (3).

Здесь символом 1(А) обозначается индикаторная функция множества А. Как известно, функции распределения Е{х) соответствует характеристическая функция f (s) = S е м1.

1 — IS.

Тогда в соответствии с приведенным выше определением сверточной симметризации функции распределения Е (х) соответствует характерическая функция s)|2 = l-isl+is = что совпадает с характеристической функцией распределения Лапласа с сг2 = 2 (см. (1)). Таким образом, распределение Лапласа является сверточной симметризацией экспоненциального (показательного) распределения.

Приведем рассуждения из работы [2], которые обосновывают возможность использования распределения Лапласа в задачах теории вероятностей и математической статистики в качестве предельного закона в случае выборок случайного объема. Рассмотрим случайные величины iVi, N2, ¦ ¦ ¦, Xi, Х2, ¦ • ¦, определенные на одном измеримом пространстве (П, J7). Пусть на Jзадана вероятностная мера Р. Пусть случайные величины Nn для любого п ^ 1 принимают только натуральные значения и не зависят от последовательности Х, Х2,. Обозначим через Тп — Тп{Х,., Хп) некоторую статистику, для каждого п ^ 1 определим случайную величину T/vn).

TNn (uj) = Т^Х^ш), XNM{u)) для каждого элементарного исхода со Е Q. Статистику Тп назовем асимптотически нормальной, если существуют числа c > 0 и i G К1 такие, что при п —> оо.

P (cv^(Tn — у) < х) Ф (х), (3) где Ф (ж) — функция распределения стандартного нормального закона.

Асимптотически нормальные статистики существуют в большом числе, например, в работе [2] указаны «выборочное среднее (при условии существования дисперсий), центральные порядковые статистики или оценки максимального правдоподобия (при достаточно общих условиях регулярности) и многие другие статистики». В работе [2] доказана лемма о необходимых и достаточных условиях сходимости распределений асимптотически нормальных статистик, построенных по выборкам случайного объема, к заданному распределению F (x).

Лемма 1. (Бенинг, Королёв 2008) Пусть {dn}n^i — некоторая неограниченно возрастающая последовательность полоэюительных чисел. Предположим, что Nn —У оо по вероятности прип —^ оо. Пусть статистика Тп асимптотически нормальна в смысле (3). Для того чтобы существовала такая функция распределения F (x), что.

Р (sy/d^(TNnу)<�х)=> F{х) (п оо), необходимо и достаточно, чтобы существовала функция распределения Н (х), удовлетворяющая условиям.

Н{х) = 0, х < 0- роо.

F{x) = / Ф{ху/у)Ш{у SGR1- J о.

P (iVn < dnx) Н (х) (п оо).

Хорошо известно (см., например, [2]), что распределение Лапласа можно представить в виде масштабной смеси нормальных законов с нулевым средним при обратном показательном смешивающем распределении, т. е. для любого х G R1 роо.

L{x) = / Ф (x^)dQ (y), J о где Q (x) — функция распределения обратного показательного распределения.

Q (ж) = е~5/х, 6> 0, х > 0 и L (x) — функция распределения распределения Лапласа, соответствующая плотности (2) с а2 = 1/5.

Напомним, что обратное показательное распределение — это распределение случайной величины где случайная величина V имеет показательное распределение (см., например, [2]), и там же указано, что «обратное показательное распределение является частным случаем распределения Фреше, хорошо известного в асимптотической теории экстремальных порядковых статистик как предельное распределение II типа».

Лемма 1 позволяет получить теорему (см. [2]), дающую необходимые и достаточные условия сходимости к распределению Лапласа распределений асимптотически нормальных статистик, построенных, но выборкам случайного объема.

Теорема 2. (Бенинг, Королёв 2008) Пусть <- > 0 любое и {с/п}п¹ есть некоторая неограниченно возрастающая последовательность положительных чисел. Предполоэюим, что АГП —> оо по вероятности при п —> оо. Пусть статистика Тп асимптотически нормальна в смысле (3). Для выполнения.

Р-1л)<�х)=> Ь (х) (п оо), необходимо и достаточно, чтобы.

Р (]УП < йпх) <2(ж) (п оо).

Приведем из работы [2] пример ситуации, в которой случайный объем выборки имеет предельное обратное показательное распределение Сд (х). Пусть У15У2,. — независимые одинаково распределенные случайные величины с одной и той лее непрерывной функцией распределения. Пусть т — произвольное натуральное число. Обозначим.

N (171) — шт{п ^ 1: тах К- < тах У^}.

Случайная величина N (171) имеет смысл количества дополнительных наблюдений, которые надо произвести, чтобы текущий (но т наблюдениям) максимум был перекрыт. Распределение случайной величины N (171) было найдено С. Уилксом, который показал (см. литературу в работе [2]), что распределение величины N (171) является дискретным распределением Парето:

Р (Щт) > к) = т + кг к > 1. (4).

Пусть теперь N^(171), N^(171),. — независимые случайные величины с одним и тем же распределением (4). Тогда в работе [2] показано, что для любого X > О lim Pfi max N^(m) < x) = e~m/a n-*oo n l^j^n /.

Таким образом, предел есть функция распределения обратного показательного распределения для S — т. Поэтому, если положить.

Nn = max 7Vu)(m), (5).

Теорема 3. (Бенинг, Королёв 2008) Пусть т — произвольное натуральное число. Предположим, что iV^(m),. — независимые случайные величины с одним и тем же распределением (4), и случайная величина Nn определяется формулой (5). Пусть статистика Тп асимптотически нормальна в смысле (3). Тогда.

P (s^/n (TNn — fx) < х) L (x) оо), где L{x) — функция распределения распределения Лапласа с плотностью вида (2) с а2 — 1/т.

Также в работе [2] указано, что «в предельных теоремах для геометрических случайных сумм распределение Лапласа играет ту же роль, что нормальное распределение в классической теории». Геометрические случайные суммы играют важную роль при исследовании процессов спекулятивной деятельности. Распространению распределения Лапласа также способствует его представление в виде масштабной смеси некоторых других хорошо известных распределений вероятностей. Например, в работе [2] показано, что распределение Лапласа можно представить в виде масштабной смеси симметризованного распределения Рэлея-Райса, если смешивающее распределение является х2-распределением с одной степенью свободы (см. [2], следствие 3.2).

Привлекательность распределения Лапласа в качестве вероятностной модели при решении конкретных прикладных задач во многом обусловливается также его экстремальными энтропийными свойствами. Этим свойством часто мотивируется выбор распределения Лапласа в качестве распределения погрешностей измерений, в которых точность изменяется от измерения к измерению случайным образом (подробнее см. работу [2]).

В прикладных областях экономики и науки популярность распределения Лапласа как математической (вероятностной модели) обусловлена тем, что его хвосты тяжелее, чем у нормального распределения. Так в теории связи в задачах обнаружения постоянного сигнала в качестве вероятностной модели некоторых типов импульсных помех выбирают распределение Лапласа (см. [29], [40], [41]). В работе [30] распределение Лапласа рассматривается как модель для речевого сигнала в задачах кодирования и декодирования аналоговых сигналов. Использованию распределения Лапласа в задачах на разрушение устройств и излом материалов посвящена работа [31]. Работы [36], [37] обсуждают применение распределения Лапласа в аэродинамике, где градиент скорости ветра по отношению к периоду времени моделируется с помощью смесей распределения Лапласа и нормального распределения, распределение ошибки в навигации с использованием распределения Лапласа исследуется в [35].

Возросший интерес к распределению Лапласа со стороны прикладных наук делает актуальным его использование в математической статистике и теории вероятностей. Нерегулярность распределения Лапласа создает известные трудности при использовании его в задачах проверки статистических гипотез. Однако развитые в последние десятилетия асимптотические методы теории проверки статистических гипотез (см. [16], [22], [26], [27] и литературу там) позволяют успешно применять распределение Лапласа в математической статистике. В диссертации исследуется асимптотическое поведение мощности асимптотически оптимального критерия, основанного на знаковой статистике, в случае распределения Лапласа.

Пусть в принадлежит открытому множеству 0 С I1, содержащему ноль, п е N. Рассмотрим задачу проверки простой гипотезы.

Н0: в = 0 (6) против последовательности сложных близких альтернатив вида.

Нп, 1: O = 0 < i < С, С > 0, (7) у/П с неизвестным параметром t, на основе выборки Хп = (Х,., Хп), состоящей из независимых и одинаково распределенных наблюдений, имеющих плотность р (х, 9) = ie-l*-", х, 0 GM1.

Распределение случайной величины будем обозначать Р^, а п-кратное произведение таких распределений при гипотезе Н0 и альтернативе Нпд обозначим, соответственно, через РП1о и Рпд. Плотности распределений выборки Хп будем обозначать рп, о (х) и ргад (х).

Согласно фундаментальной лемме Неймана-Пирсона для любого фиксированного t? (О, С] наилучший критерий для проверки гипотезы, Но против простой альтернативы.

Н&bdquo->4: * = 4= (8) основан на логарифме отношения правдоподобия.

An (t) = ]Г {Xi — Xi-tn-½). (9) i=1.

Обозначим через /3*(t) мощность такого критерия уровня a G (0,1). Заметим, что поскольку t неизвестно, то мы не можем использовать статистику Лn (t) для построения критерия проверки гипотезы, Но против альтернативы Нпд. Однако? n (t), это так называемая огибающая функций мощности, дает верхнюю границу для мощности любого критерия при проверке гипотезы Н0 против фиксированной альтернативы Hn) i, t > 0, и может служить стандартом при сравнении различных критериев. Рассмотрим новый критерий уровня, а 6 (0,1), основанный на знаковой статистике вида 1.

Тп = ыдп (Х{), (10).

V г'=1 обозначим через? n (t) его мощность. Очевидно, статистика (10) не зависит от неизвестного параметра t и может быть использована в статистических целях. В диссертации вычисляется предел вида r (t) = lim y/iifa (t) — ?n (t)). (И) n—>oo.

Число r (t) показывает на сколько в пределе мощность критерия, основанного на статистике (10), отличается от огибающей функций мощности и имеет также статистическую интерпретацию в терминах дополнительного числа наблюдений, необходимых критерию для достижений той же мощности, что дает огибающая функций мощности.

Для вычисления числа r (t) можно было бы формально применить формулу из работы [22] r (t) = ieS (WD (A (i)|A (i) = 6t), (12) где bt = — a), — функция распределения, предельная для последовательности логарифмов отношения правдоподобия An (t) при гипотезе Н0, р (х) = Ф^я), (A (i), A (t)) — случайный вектор, предельный для (^nAn (t), Лn (i)), An (i) = Sn (t) — An (t), Sn (t) — монотонное преобразование статистики Тп вида t n t2 Sn (t) = —7=^sign{Xi) — —.

Vn -=1 ^.

Однако достаточные условия из этой работы не выполняются в случае распределения Лапласа. Так теорема 3.2.1 работы [22] не может непосредственно быть применена к случаю распределения Лапласа, поскольку достаточное условие 3 (и) (см. с. 79 работы [22]) -аналог условия Крамера (С) — не выполняется для характеристической функции решетчатой статистики Sn (t). Также в связи с нерегулярностью распределения Лапласа величина A n (t) допускает нерегулярное стохастическое разложение порядка гг-¼, что приводит к порядку разности мощностей п~½ в отличие от случая п" 1 в формулировке теоремы 2.1 работы [16]. Отметим, что подобная задача рассматривалась в работах [3], [10] для обобщенного распределения Лапласа. Однако случай обычного распределения Лапласа в этих работах не рассматривался.

Диссертация посвящена вычислению предела (11) и доказательству формулы (12) для предела нормированной разности мощностей асимптотически оптимального (эффективного) и асимптотически наилучшего критериев в случае распределения Лапласа.

Кратко изложим содержание и основные результаты диссертации.

1. Абрамов В. А. Оценка расстояния Леви-Прохорова. // Теория вероятн. и ее примен., 1976, т. 21, вып. 2, с. 406−410.

2. БенингВ.Е., Королёв В. Ю. Некоторые статистические задачи, связанные с распределением Лапласа. // Информатика и её применения, 2008, т. 2, вып. 2, с. 19−34.

3. БенингВ.Е., ЛяминО.О. О мощности критериев в случае обобщенного распределения Лапласа. / / Информатика и её применения, 2009, т. 3, вып. 3, с. 79−85.

4. Боровков А. А. Теория Вероятностей. — М.: УРСС, 2003, 470 с.

5. БурнашевМ.В. Асимптотические разложения для медианной оценки параметра. // Теория вероятн. и ее иримен., 1996, т. 41, вып. 4, с. 738−753.

6. ВолковЕ. А. Численные методы. —- М.: Наука, 1987, 248 с.

7. Гнеденко Б. В., Колмогоров А. Н. Предельные распределения для сумм независимых случайных величин. — М.: ГИТТЛ, 1949, 264 с.

8. Золотарев В. М. Оценки различия распределений в метрике Леви. // Труды Матем. ин-та им. В. А. Стеклова, 1971, т. CXII, с. 224−231.

9. Золотарев В. М., Сенатов В. В. Двусторонние оценки метрики Леви. // Теория вероятн. и ее примен., 1975, т. 20, вып. 2, с. 239−250.

10. ЛяминО.О. О предельном поведении мощностей критериев в случае обобщенного распределения Лапласа. // Информатика и её применения, 2010, т. 4, вып. 3, с. 49−59.

11. Никитин Я. Ю. Асимптотическая эффективность непараметрических критериев. М.: Наука, 1995, 250 с.

12. Петров В. В. Предельные теоремы для сумм независимых случайных величин. — М.: Наука, 1987, 320 с.

13. СурвилаП. О локальной предельной теореме для плотностей. // Литовский математический сборник, 1963, т. 3, вып. 1, с. 225−236.

14. ФеллерВ.

Введение

в теорию вероятностей и ее приложения. Т. 1. М.: Мир, 1984, 528 с.

15. ФеллерВ.

Введение

в теорию вероятностей и ее прилоэюения. Т. 2. М.: Мир, 1984, 751с.

16. Чибисов Д. М. Вычисление дефекта асимптотически эффективных критериев. // Теория вероятн. и ее примен., 1985, т. 30, вып. 2, с. 269−288.

17. AkahiraM. Asymptotic Theory of Statistical Estimation. — University of Tsukuba, Japan, 1991, 168 p.

18. AkahiraM., Takeuchi K. Asymptotic Efficiency of Statistical Estimators: Concepts and Higher Order Asymptotic Efficiency. — Springer, New York, 1981, 242 p.

19. AkahiraM., Takeuchi K. N on-Regular Statistical Estimation. — Springer, New York, 1995, 183 p.

20. Albers W., Asymptotic Expansions and the Deficiency Concept in Statistics. — Mathematisch Centrum, Amsterdam, 1974, 145 p.

21. Apostol Т. M. Mathematical analysis, Second Edition. — Pearson, China, 2004, 492 p.

22. BeningV. E. Asymptotic Theory of Testing Statistical Hypotheses. — VSP, Utrecht, 2000, 277 p.

23. BickelP. J. Edgeworth expansions in nonparametric statistics. // Ann. of Statist., 1974, vol. 2, No. 1, p. 1−20.

24. BickelP. J., ChibisovD. M., VanZwetW. R. On efficiency of first and second order. // Intern. Statist. Review, 1981, vol.49, p. 169−175.

25. Lehmann E. L., Romano J.P. Testing Statistical Hypotheses, Third edition. — Springer, USA, 2005, 784 p.

26. MarksR. J., WiseG. L., HaldemanD. G., WhitedJ.L. Detection in Laplace noise. // IEEE Trans. Aerospace Electron. Systems, 1978, AES-14(6), p. 866−871.

27. Miller J. H., Thomas J. B. Detectors for discrete-time signals in non-Gaussian noise. // IEEE Trans. Inform. Theory, 1972, IT-18(2), p. 241 250.

28. Molenaar W. Approximations to the Poisson, binomial and hypergeomet-ric distribution functions. — Mathematical Centre, Amsterdam, 1970, 160 p.

29. PeizerD.B., Pratt J. W. A normal approximation for binomial, F, beta and other common, related tail probabilities. //J. Amer. Stat, ylssoc., 1968, v. 63, p. 1417−1456 (part I) and p. 1457−1483 (part II).

30. Pfanzagl J. Asymptotic expansions in parametric statistical theory, in: Developments in Statistics, Ed. by P.R. Krishnaiah, New York-London, Academic Press, 1980, vol. 3, p. 1−97.

31. PfaffT., Pfanzagl J. On the Accuracy of Asymptotic Expansions for Power Functions. — Preprints in Statistics, University of Cologne, 1983, No. 81, 64 p.

32. Pitman E. J. G. Some basic theory for statistical inference. — Chapman and Hall, London, 1979, 109 p.

33. Strassen V. The existence of probability measures with given marginals. // Ann. Math. Stat., 1965, V.36, N2, p.423−439.

34. VanZwetW. R. Convex Transformations of Random Variables. — Mathematical Centre, Amsterdam, 1964, 130 p.

35. Королев P. А., ТестоваА. В., БенингВ.Е. О мощности асимптотически оптимального критерия в случае распределения Лапласа. // Вестник Тверского государственного университета, серия Прикладная математика, 2008, вып. 8, № 4(64), с. 5−23.

36. Королев Р. А., БенингВ.Е. Асимптотические разложения для мощностей критериев в случае распределения Лапласа. // Вестник Тверского государственного университета, серия Прикладная математика, 2008, вып. 3(10), № 26(86), с. 97−107.

37. Королев Р. А. О численной аппроксимации мощностей критериев в случае распределения Лапласа. / / Вестник Тверского государственного университета, серия Прикладная математика, 2009, вып. 1(12), № 8, с.59−76.

38. Королев Р. А. Формула для предела нормированной разности мощностей критериев в случае распределения Лапласа. // Вестник Тверского государственного университета, серия Прикладная математика, 2010, вып. 1(16), № 9, с. 5−24.

39. БенингВ.Е., Королев Р. А. О предельном поведении мощностей критериев в случае распределения Лапласа. // Информатика и её применения, 2010, т. 4, вып. 2, с. 63−74.

40. KorolevR. A., BeningV.E. On the power of an asymptotically optimal test for the case of Laplace distribution. // Banach Center РиЫ., 2010, V. 90, p. 27−38.