Исследование распределений статистик многомерного анализа данных при нарушении предположений о нормальности
Диссертация
Сегодня в связи с бурным развитием и внедрением персональных компьютеров, особую актуальность приобретает задача обеспечения высокого качества пакетов прикладных статистических программ. Несмотря на то, что, рынок насыщен различными пакетами программных систем статистического анализа, реализуемые в них методы и алгоритмы сильно отстают от последних достижений в области статистических… Читать ещё >
Содержание
- ГЛАВА 1. Постановка задач исследования
- 1. 1. Основные понятия и определения
- 1. 2. Задачи корреляционного анализа
- 1. 2. 1. Критерии проверки гипотез о векторе математических ожиданий и ковариационной матрице
- 1. 2. 2. Критерии проверки гипотез о коэффициентах корреляции
- 1. 2. 3. Критерии проверки гипотез о корреляционном отношении
- 1. 3. Цели исследования распределений статистик корреляционного анализа при нарушении предположения о нормальности
- 1. 4. Проблемы моделирования многомерных псевдослучайных величин
- 1. 5. Выводы
- ГЛАВА 2. Исследование критериев проверки гипотез о математических ожиданиях и дисперсиях при вероятностных законах, отличающихся от нормального
- 2. 1. Классические критерии проверки гипотез о математических ожиданиях и дисперсиях
- 2. 2. Распределения статистик 71, Т2, ТА при нарушении предположений о нормальности
- 2. 3. Выводы
- ГЛАВА 3. Исследование критериев проверки гипотез о векторе математических ожиданий и ковариационной матрице
- 3. 1. Классические критерии проверки гипотез о векторе математических ожиданий и ковариационной матрице
- 3. 1. 1. Проверка гипотез о векторе математических ожиданий
- 3. 1. 2. Проверка гипотез о ковариационной матрице
- 3. 2. Исследование распределений статистик критериев в случае принадлежности наблюдений нормальному закону
- 3. 3. Исследование распределений статистик при законах, отличающихся от нормального
- 3. 4. Уточнение моделей распределений статистик рассматриваемых критериев
- 3. 5. Выводы
- 3. 1. Классические критерии проверки гипотез о векторе математических ожиданий и ковариационной матрице
- ГЛАВА 4. Исследование критериев проверки гипотез о коэффициентах корреляции
- 4. 1. Классические критерии проверки гипотез о коэффициентах корреляции
- 4. 1. 1. Проверка гипотез о коэффициентах парной корреляции
- 4. 1. 2. Проверка гипотез о коэффициентах частной корреляции
- 4. 1. 3. Проверка гипотезы о коэффициенте множественной корреляции
- 4. 2. Исследование распределений статистик критериев для различных многомерных законов
- 4. 2. 1. В случае принадлежности наблюдений многомерному нормальному закону
- 4. 2. 2. В случае принадлежности наблюдений многомерным законам, моделируемым на основе семейства симметричных распределений
- 4. 2. 3. Случай принадлежности наблюдений многомерному закону Стьюдента
- 4. 3. Выводы
- 4. 1. Классические критерии проверки гипотез о коэффициентах корреляции
- ГЛАВА 5. Исследование критериев проверки гипотез о корреляционном отношении
- 5. 1. Классические критерии проверки гипотез о корреляционном отношении
- 5. 2. Влияние различных способов группирования и количества интервалов на оценку корреляционного отношения
- 5. 3. Исследование распределений статистики критерия проверки гипотезы о незначимости корреляционного отношения
- 5. 4. Исследование распределений статистики критерия линейности регрессии Xi по Xj
- 5. 5. Выводы
- ГЛАВА 6. Описание программной системы
- 6. 1. Общая характеристика программной системы
- 6. 2. Краткое описание интерфейса программной системы
- 6. 2. 1. Основная программа
- 6. 2. 2. Вспомогательная программа
- 6. 3. Моделирование псевдослучайных величин
- 6. 3. 1. Моделирование одномерных распределений
- 6. 3. 2. Моделирование псевдослучайных нормальных векторов
- 6. 3. 3. Моделирование многомерных величин по законам, отличным от нормального
- 6. 3. 4. Моделирование псевдослучайных векторов, подчиняющихся многомерному распределению Стьюдента
- 6. 3. 5. Моделирование функциональной линейной зависимости между Х{иХу
- 6. 4. Пример использования программной системы при обработке данных в медицине
- 6. 5. Выводы
Список литературы
- Alqallaf F. A., Konis К. P., Martin R. D. Scalable robust covariance and correlation estimates for data mining // Proceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data mining. 2002. — Pp. 14−23.
- Anderson T. W. An Introduction to Multivariate Statistical Analysis. — Third edition. — Wiley-Interscience, 2003. — 752 pp.
- Bose R. C, Roy S. N. The exact distribution of the studentized D2-statistic // Sankhya. 1938. — Vol. 4. — Pp. 19−38.
- Bose R. C., Roy S. N. The use and distribution of the studentized D2-statistic, when the variances and covariances are based on К samples // Sankhya.— 1938. Vol. 4. — Pp. 535−542.
- Chandra M., Singpurwalla N. D., Stephens M. A. Statistics for test of fit for the Extrem-Value and Weibull distribution // J. Am. Statist. Assoc. — 1981.— Vol. 76.-P. 375.
- Chen E. H. A random normal number generator for 32-bit-word computers // J. Am. Statist. Assoc. 1971. — Vol. 66. — Pp. 400−403.
- Devlin S. J., Gnanadesikan R., Kettenring J. R. Robust estimation and outlier detection with correlation coefficient // Biometrika.— 1975.— Vol. 62.— Pp. 531−545.
- Fisher R. A. The distribution of the partial correlation coefficient // Metron. — 1924. Vol. 3. — Pp. 329−332.
- Fisher R. A. The general sampling distribution of the multiple correlation coefficient // Proc. Roy. Soc. 1928. — Vol. A121. — Pp. 654−673.
- Gayen A. K. The frequency distribution of the Radial standard deviation // Ann. Math. Soc. 1951.-Vol. 2. — Pp. 188−202.
- Hotelling H. A generalized T-test and measure of multivariate dispersion // Proceedings of the Second Berkeley Symposium on Mathematical Statistics and Probability. — University of California Press, 1951. — Pp. 23−42.
- Hotelling H. New light on the correlation coefficient and its transforms // J. Roy. Stat. Soc. 1953. — Vol. B 15. — Pp. 193−225.
- Huseby J. R., Schwertman N. C., Allen D. M. Computation of the mean vector and dispersion matrix for incomplete multivariate data // Communs Statist. — 1980. Vol. 9. — Pp. 301−309.
- Johnson M. E. Multivariate Statistical Simulation: A Guide to Selecting and Generating Continuous Multivariate. — John Wiley & Sons, 1987. — 240 pp.
- L’Ecuyer P., Touzin R. On the Deng-Lin random number generators and related methods // Statistics and Computing. — 2004. — Vol. 14. — Pp. 5−9.
- Lumley T., Diehr P., Emerson S. The importance of the normality assumption in large public health data sets // Annual Review of Public Health. — 2002. — Vol. 23.-Pp. 151−169.
- Pearson E. S., Hartley H. O. Biometrica tables for Statistics. — Cambridge: University Press, 1972. — Vol. 2. — 634 pp.
- Pearson K. On the coefficients of Racial likeness // Biometrika.— 1926, — Vol. 18.-Pp. 105−117.
- Pearson K. Note on standardization of method using the coefficients of Racial likeness // Biometrika. 1928. — Vol. 20B. — Pp. 376−378.
- Shevlyakov G. L. On robust estimation of a correlation coefficient // Journal of Mathematical Sciences. 1997. — Vol. 83, no. 3. — Pp. 90−94.
- Shevlyakov G. L., Lee J. W. Robust estimators of a correlation coefficient: Monte Carlo and asymptotics // Korean Journal of Mathematical Sciences. — 1997.- Vol: 4.- Pp. 205−212.
- Stein P. G., Matey J R., Pitts K. A review of statistical software for the Apple Macintosh // The American Statistician.— 1997.— Vol. 32, no. 1.— Pp. 67−82.
- Stephens M. A. Use of Kolmogorov-Smirnov, Cramer-von Mises and related statistics without extensive table // J. R. Stat. Soc. — 1970.— Vol. 32.— Pp. 115−122.
- Stephens M. A. EDF statistics for goodness of fit and some comparisons II J. Am. Statist. Assoc. — 1974. Vol. 69. — Pp. 730−737.
- Wllks S. S. Moments and distribution of estimates of population parameters from fragmentary samples // Ann. Math. Stat. — 1932.— Vol. 3. — Pp. 163— 195.
- Абусев P. А., Колегова H. В. Байесовские оценки для некоторых характеристик многомерного t-распределения стьюдента // Мат. межд. научн.-практ. конференции «САКС-2001». — Т. 2.— Красноярск: САА, 2001.— С. 291−292.
- Айвазян С. А Программное обеспечение персональных ЭВМ по статистическому анализу данных // Компьютер и экономика: экономические проблемы компьютеризации общества, — М.: Наука, 1991.— С. 91−107.
- Айвазян С. А. Программное обеспечение персональных ЭВМ по статистическому анализу данных (проблемы, тенденции, перспективы отечественных разработок) // Заводская лаборатория. Диагностика материалов.- 1991.-Т. 57, № 1.-С. 54−58.
- Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983. — 471 с.
- Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Исследование зависимостей. — М.: Финансы и статистика, 1985. — 487 с.
- Айвазян С. А., Мхитарян В. Прикладная статистика и основы эконометрики. Учебник для вузов. М.: ЮНИТИ, 1998.- 1022 с.
- Александров А. Д., Алексеев А. И., Горский Н. Д. Анализ данных на ЭВМ (на примере системы СИТО). — М.: Финансы и статистика, 1990. — 192 с.
- Андерсон Т. Введение в многомерный статистический анализ. — М.: Физ-матгиз, 1963.— 500 с.
- Архангельский А. Программирование в С++ Builder 6. — М.: Бином, 2002.- 1152 с.
- Афифи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ. М.: Мир, 1982. — 488 с.
- Болч Б., Хуанъ К. Д. Многомерные статистические методы для экономики. — М.: Статистика, 1979. — 317 с.
- Бусленко Н. П., Шрейдер Ю. А. Метод статистических испытаний Монте-Карло и его реализация в цифровых машинах. — М.: Физматгиз, 1961.— 266 с.
- Векслер Л. С. Статистический анализ на персональном компьютере // Мир ПК.- 1992.- № 2. С. 89−97.
- ГОСТ Р 50 779.53−98. Приемочный контроль качества по количественному признаку для нормального распределения. Часть 1. Стандартное отклонение известно. — М.: Изд-во стандартов, 1998. — 23 с.
- Губарев В. В. Вероятностные модели: Справочник. В 2-х ч.— Новосибирск: Изд-во НЭТИ, 1992.- Т. 2.- 188 с.
- Губарев В. В. Вероятностные модели: Справочник. В 2-х ч. — Новосибирск: Изд-во НЭТИ, 1992.- Т. 1.- 198 с.
- Давидович М.И., Петрович M. Л. Программное обеспечение ЭВМ: Библиотека прикладных программ БИМ. Вып. 20. (Прикладная статистика. Корреляционный анализ.). — Минск: Институт математики, АН БССР, 1989. 187 с.
- Денисов В. И., Лемешко Б. Ю., Постовалов С. Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть I. Критерии типа х2- — Новосибирск: Изд-во НГТУ, 1998.- 126 с.
- Джонстон Д. Эконометрические методы. — М.: Статистика, 1980.— 446 с.
- Дубровский С. А. Прикладной многомерный статистический анализ.— М.: Финансы и статистика, 1982. — 216 с.
- Дьяконов В. Maple 6: учебный курс. — СПб.: Питер, 2001.— 608 с.
- Елисеева И. И., Семенова Е. В. Основные процедуры многомерного статистического анализа. — Л.: УЭФ, 1993.— 78 с.
- Енюков И. С. Методы, алгоритмы, программы многомерного статистического анализа: Пакет ППСА. — М.: Финансы и статистика, 1986. — 232 с.
- Ермаков С. М. Метод Монте-Карло и смежные вопросы.— М.: Наука, 1975.-471 с.
- Ермаков С. М. О датчиках случайных чисел // Заводская лаборатория. Диагностика материалов. — 1993. — Т. 59, № 7. — С. 48−50.
- Ермаков С. М., Михайлов Г. А. Курс статистического моделирования. — М.: Наука, 1976.-320 с.
- Ермаков С. М., Михайлов Г. А. Статистическое моделирование. — М.: Наука, 1982.-296 с.
- Загоруйко Н. Г. Анализ данных и анализ знаний // Анализ последовательностей и таблиц данных. Вып. 150: Вычислительные системы. — Новосибирск: 1994.-С. 3−17.
- Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: Изд-во Ин-та математики, 1999. — 270 с.
- Илюшенко А. Е. Группировки почвенных водорослей сосновых фитоценозов в режиме рекреационной нагрузки: Автореф. дисск-та биолог.наук. / ГУ. Н., 2003. — 21 с.
- КемениД., СнеллД. Кибернетическое моделирование. — М.: Сов. радио, 1972.- 192 с.
- Кендалл М., Стъюарт А. Теория распределений, — М.: Наука, 1966.— 588 с.
- Кендалл М., Стъюарт А. Статистические выводы и связи. — М.: Наука, 1973.-900 с.
- Кендалл М., Стъюарт А. Многомерный статистический анализ и временные ряды. — М.: Наука, 1976. — 736 с.
- Кирьянов Б. Ф. К проблеме моделирования случайных векторов // Вестник НовГУ — № 3.- Новгород: 1996. С. 87−89.
- Компьютерные методы исследований статистических закономерностей / Б. Ю. Лемешко, С. Н. Постовалов, С. С. Помадин и др. // Тезисы докладов всероссийской НТК «Информационные системы и технологии ИСТ-2001».- Нижний Новгород: 2001.- С. 87−89.
- Куллдорф Г. Введение в теорию оценивания по группированным и частично группированным выборкам. — М.: Наука, 1966. — 176 с.
- Лбов Г. С. Методы обработки разнотипных экспериментальных данных.— Новосибирск: Наука, 1981.— 157 с.
- Лбов Г. С., Старцева Н. Г. Логические решающие функции и вопросы статистической устойчивости решений.— Новосибирск: Изд-во Ин-та математики, 1999. — 212 с.
- Лемешко Б. Ю. Корреляционный анализ многомерных наблюдений случайных величин: Программная система. — Новосибирск: Изд-во НГТУ, 1995.- 39 с.
- Лемешко Б. Ю. Статистический анализ одномерных наблюдений случайных величин: Программная система. — Новосибирск: Изд-во НГТУ, 1995.- 125 с.
- Лемешко Б. Ю. Компьютерные методы исследований статистических закономерностей // Сб. «Моделирование, автоматизация и оптимизация наукоемких технологий». — Новосибирск: Изд-во НГТУ, 2000. — С. 1819.
- Лемешко Б. Ю., Ванюкевич О. Н. Проверка гипотез о дисперсии при нарушении предположений о нормальности // Сб. научных трудов НГТУ. — Новосибирск: Изд-во НГТУ, 2002. № 3(29).- С. 27−32.
- Лемешко Б. Ю., Гилъдебрант С. Я., Постовалов С. Н. К оцениванию параметров надежности по цензурированным выборкам // Заводская лаборатория. Диагностика материалов. — 2001. — Т. 67, № 1. — С. 52−64.
- Лемешко Б. Ю., Помадин С. С. Корреляционный: анализ наблюдений многомерных случайных величин при нарушении предположений о нормальности // Сибирский журнал индустриальной математики. — 2002. — Т. 5, № 3(11).-С. 115−130.
- Лемешко Б. Ю., Помадин С. С. Проверка гипотез о математических ожиданиях и дисперсиях в задачах метрологии и контроля качества при вероятностных законах, отличающихся от нормального // Метрология. — 2004.-№ 4.-С. 3−15.
- Лемешко Б. Ю, Постовалов С. Я. О распределениях статистик непараметрических критериев согласия при оценивании по выборкам параметров наблюдаемых законов // Заводская лаборатория. — 1998. — Т. 64, № 3. — С. 61−72.
- Лемешко Б. Ю, Постовалов С. Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть II. Непараметрические критерии. — Новосибирск: Изд-во НГТУ, 1999.- 85 с.
- Лемешко Б. Ю., Постовалов С. Я. О зависимости распределений статистик непараметрических критериев и их мощности от метода оценивания параметров // Заводская лаборатория. Диагностика материалов. — 2001.- Т. 67, № 7.- С. 62−71.
- Лемешко Б. Ю., Постовалов С. Н. Применение непараметрических критериев согласия при проверке сложных гипотез II Автометрия. — 2001. — № 2.-С. 88−102.
- Лемешко Б. Ю., Постовалов С. Н. Непараметрические критерии при проверке сложных гипотез о согласии с распределениями Джонсона // Доклады СО АН ВШ.- 2002. № 1(5).- С. 65−74.
- Лемешко Б. Ю., Постовалов С. Я. Компьютерные технологии анализа данных и исследование статистических закономерностей: учеб. пособие. Новосибирск: Изд-во НГТУ, 2004.- 120 с.
- Лемешко Б. Ю., Чимитова Е. В. Методика компьютерного моделирования в исследовании статистических закономерностей // Тезисы докладов региональной НТК «Наука. Техника. Инновации». — Т. 2.— НТИ-2001, 2001.-С. 46−48.
- Лемешко Б. Ю., Чимитова Е. В. Построение оптимальных L-оценок параметров сдвига и масштаба распределений по выборочным квантилям // Сибирский журнал индустриальной математики. — 2001. — Т. 4, № 2. — С.166−183.
- Лемешко Б. Ю., Чимитова Е. В. Оптимальные L-оценки параметров сдвига и масштаба распределений по выборочным квантилям // Заводская лаборатория. Диагностика материалов. — 2004. — Т. 70, № 1. — С. 54−66.
- Леонов В. П., Ижевский П. В. Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям // Бюллетень ВАК РФ. —1997. — № 5. — С. 56−61.
- Леонов В. П., Ижевский П. В. Применение статистики в медицине и биологии: анализ публикаций 1990−1997 гг.// Сибирский медицинский журнал. 1997. — № 3−4. — С. 64−74.
- Маленво Э. Статистические методы в эконометрии. — М.: Статистика, 1976.-325 с.
- Манзон Б. М. Maple V Power Edition. — М.: Информационно-издательский дом «Филинъ», 1998. — 240 с.
- Новицкий П. В., Зограф И. А. Оценка погрешностей результатов измерений. — JL: Энергоатомиздат, 1991. — 303 с.
- Орлов А. И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. Диагностика материалов. — 1985. — Т. 51, № 1. — С. 60−62.
- Орлов А./f/. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория. Диагностика материалов. — 1991. Т. 57, № 7. — С. 64−66.
- Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистичесих методов // Заводская лаборатория. Диагностика материалов. — 1992. — Т. 58, № 1. — С. 61−1 А.
- Орлов А. И. Некоторые нерешенные вопросы в области математических методов исследования П Заводская лаборатория. Диагностика материалов. 2002. — Т. 68, № 3. — С. 52−56.
- Пасман В. Р., Шевляков Г. Л. Робастные методы оценивания коэффициента корреляции // Автоматика и Телемеханика. — 1987. — Т. 27, № 3. — С. 70−80.
- Петрович M.JI. Численное исследование на ЭВМ некоторых алгоритмов прикладной статистики 7/ Заводская лаборатория. Диагностика материалов.- 1991.- Т. 57, № 7.- С. 56−64.
- Петрович М. П., Давидович М. И. Статистическое оценивание и проверка гипотез на ЭВМ. — М.: Финансы и статистика, 1989. — 192 с.
- Подбельский В: В. Язык Си++: Учеб. пособие. — М.: Финансы и статистика, 1995.-560 с.
- Полляк Ю. /^ Вероятностное моделирование на электронных вычислительных машинах. — М.: Сов. радио, 1971. — 400 с.
- Помадин С. С. К проверке гипотез о математических ожиданиях и дисперсиях при законах, отличающихся от нормального // Сборник научных трудов НГТУ. 2003. — № 4(34). — С. 41−46.
- Райков Д. А. Многомерный математический анализ. — М.: Высшая школа, 1989.-271 с.
- Pao С. Р. Линейные статистические методы и их применения.— М.: Наука, 1968.-548 с.
- Рыданова Г. В. Методика изучения временных зависимостей в последовательностях случайных чисел // Заводская лаборатория. Диагностика материалов. — 1986. — Т. 52, № 1. — С. 56−58.
- Р 50.1.033−2001. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа хи-квадрат. — М.: Изд-во стандартов, 2002.-87 с.
- Р 50.1.037−2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. — М.: Изд-во стандартов, 2002. 64 с.
- Соболь И. М. Численные методы. — М.: Наука, 1973. — 312 с.
- СошниковаЛ. А., Тамашевич В. Н., УебеГ. Многомерный статистический анализ в экономике: Учеб. пособие для вузов / Под ред. В. Н. Тамаше-вича. М.: ЮНИТИ-ДАНА, 1999. — 598 с.
- Статистические и математические системы // Каталог «Тысячи программных продуктов». — 1995. — № 2. — С. 88−92.
- Тьюки Д. У. Анализ результатов наблюдений / Под ред. В. Э. Фигурнова.-М.: Мир, 1981.- 693 с.
- Тюрин Ю. Н. О предельном распределении статистик Колмогорова-Смирнова для сложной гипотезы // Изв. АН СССР. Сер. Машем. — 1984.-Т. 48, № 6.-С. 1314−1343.
- Тюрин Ю. Н. Исследования по непараметрической статистике (непараметрические методы и линейная модель): Автореф. дисс. д-ра физ.-мат. наук. / МГУ. — М., 1985. — 33 с.
- Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. — М.: Финансы и статистика, 1995. — 384 с.
- Тюрин Ю.Н., Макаров А. А. Статистический анализ данных на компьютере / Под ред. В. Э. Фигурнова. М.: ИНФРА, 1997. — 528 с.
- Тюрин Ю: H., Саввушкина H. Е. Критерии согласия для распределения Вейбулла-Гнеденко // Изв. АН СССР. Сер. Техн. Кибернетика. — 1984. — № 3. — С. 109−112.
- Ферестер Э., Ренц Б. Методы корреляционного и регрессионного анализа. — М.: Финансы и статистика, 1988. — 302 с.
- Шметтерер Л. Введение в математическую статистику. — М.: Наука, 1976.-520 с.
- Эфрон Б. Нетрадиционные методы многомерного статистического анализа. — М.: Финансы и статистика, 1988. — 263 с.