Методы оценивания зависимостей, использующие сингулярное разложение. 
Смещенные и несмещенные оценки

Целью данной работы является создание новых методов и алгоритмов регрессионного анализа и разработка пакетов прикладных программ, реализующих эти методы и алгоритмы. Широкое использование регрессионного анализа в разнообразных отраслях науки и практики: экономике[91, технике!!301, медицине!!33], социальных науках!491 и т. п. определяет практическую важность работы. Теоретическая же ее значимость следует из того, что регрессионный анализ представляет собой один из наиболее разработанных разделов математической статистики, так что построение более совершенных и эффективных методов оценивания параметров регрессионных моделей по сравнению с известными, будет способствовать развитию математической статистики в целом.

В настоящее время предложен ряд оценок, отличных от традиционных, причем в имитационном эксперименте или практическом применении эти оценки показали себя лучше традиционных. К их числу следует отнести прежде всего ридж-регрессию[41], сжатые оценки[431, оценки Марквардта!46], регрессию на главные компоненты!!4], метод характеристического корня!38] и т. п. Эти оценки рассматриваются обыкновенно, как конкурирующие между собой и с методом наименьших квадратов. В работе показано, что все эти оценки, включая метод наименьших квадратов, представляют собой частные случаи оценок общего вида, получаемые соответствующим выбором параметров. Доказано, что в этом классе существует оценка, наилучшая одновременно как с точки зрения оценивания коэффициентов модели, так и с точки зрения оценивания математического ожидания вектора отклика. Разработан метод построения аппроксимации такой оценки.

— обй'ДЗ-пИшй МВгГОД ПОСТрОвй’ИЯ рШ 'рвССЙОЙНЫХ ОЦеНОК 1'реОу в i больших затрат машинного времени, чем стандартная вычислительная процедура метода наименьших квадратов, поскольку взамен обращения матриц используется сингулярное или спектральное разложение. Этот недостаток, впрочем, в условиях применения ЭВМ не столь существенный, частично компенсируется возможностью построения с минимальными вычислительными затратами семейств оценок, отличающихся различным выбором множества регрессоров. Более важное преимущество разработанного подхода состоит в высокой устойчивости к погрешностям вычисления, что оказывается особенно важным в условиях мультиколлинеарности.

Для вычисления сингулярного разложения матриц в работе представлен алгоритм, аналогичный алгоритму.

Голуба-Бизингера-Райнша[37], но несколько более эффективный в вычислительном отношении. На основе этих алгоритмов разработан пакет прикладных программ, ориентированный на ЭВМ типа IBM PC.

Предложенные в работе оценки не обладают, вообще говоря, такими свойствами, как несмещенность, максимальное правдоподобие и г. п. Для обоснования целесообразности их применения был проведен имитационный эксперимент, описание и результаты которого приводятся в работе. В этом эксперименте ошибка оценки вектора коэффициентов модели и ошибка оценки вектора отклика (равная эшибке оценки вектора остатков) для предложенных оценок сравнивалась с соответствующими величинами для наиболее распространенного метода наименьших квадратов. Указанные критерии сачества моделей охватывают основные классы задач, решаемых югрессионным анализом. Результаты эксперимента в сочетании с шытом практического применения предложенных оценок позволяют елать вывод о целесообразности их применения и дальнейшего.звития.

Критерии значимости моделей, разработанные для метода. именьших квадратов, оказываются для данного класса оценок, обще говоря, непригодными, поэтому существенную часть работы ¦ставляют алгоритмы проверки моделей, основанные на «скользящем замене». Эта процедура, дорогостоящая в вычислительном отношении ¦и использовании сингулярного разложения матриц оказывается сьма эффективной, поскольку затраты на проверку модели малы в авнении с затратами на ее построение. Возможно применение кользящего экзамена" и к модели, полученной методом наименьших адратов или к моделям, полученным варьированием подмножества грессоров, тем самым дополняются традиционные критерии ачимости.

Полученные оценки допускают обобщение на случай оценивания и наличии ограничений-равенств и неравенств. Это позволяет фективно формализовать априорную информацию, доступную следователю.

Основное внимание в работе уделено случаю детерминированной трицы плана и нормального распределения ошибок. Однако пользование сингулярного разложения позволяет рассмотреть также один из возможных классов оценок со случайной матрицей плана, эдставляющий собой обобщение оценок метода максимального авдоподобия и оценок метода инструментальных переменных.

Отклонение от нормальности распределения вектора ошибок может цественно повлиять на поведение алгоритмов оценивания, бедствие этого в работе рассмотрены критерии проверки эмальности вектора ошибок, основанные на «скользящем экзамене», также распространение отклонений от нормальности в промежуточных окончательных результатах.

Использование сингулярного разложения и критерия «скользящего кзамена» позволило построить эффективный в вычислительном тношении алгоритм выбора наилучшего подмножества переменных.

Вопросы оценивания нелинейной регрессии и классификации с чителем рассмотрены в работе постольку, поскольку эти задачи: огут быть сведены к оцениванию Свозможно, многократному) линейных оделей.

Результаты работы прошли практическую проверку при решении кономических задач (прогнозирования, построения нормативов, .лассификации) в системе управления Черноморским морским: ароходством, а также при построении многомерных эмпирических ависимостей при решении научно исследовательских задач Одесского мзико-химического института им. А. В. Богатского АН УССР.

Заключение

.

В настоящей работе рассмотрены некоторые новые подходы к построению регрессионных моделей. Они объединены с теоритической точки зрения отказом от требования несмещенности и переходом к более общему критерию минимума среднего квадрата ошибки, с точки зрения же реализации — использованием сингулярного разложения в качестве инструмента, упрощающего построение методов и повышающего их численную устойчивость. Следствием этого явились, с одной > стороны, большая эффективность применения методов в условиях мультиколлинеарностиСЗб], с другой же — существенное возрастание затрат машинного времени.

Результаты имитационного эксперимента, приведенные в главе 3, вместе с приведенными в главе 4 примерами практического применения предложенных оценок, показывают возможность и целесообразность их использования для решения реальных задач. При этом особенно эффективным оказывается использование диалогового режима.

Направление дальнейшего развития описанных методов связаны, во-первых, с построением лучших, нежели приведенные, оценок | оптимальных весов, а также получением весов, оптимальных для ¡-критериев, отличных от рассмотренных в диссертационной работе, | например, весов, оптимальных для задач прогнозирования или I оптимальных при наличии корреляции между элементами вектора гво-вторых, с созданием способов учета и включения в модель априорной информации, лучших, чем введение ограничений-равенств и ограничений-неравенств, в частности, используя теорию нечетких множествв третьих, с совершенствованием вычислительных процедур, прежде всего процедуры сингулярного разложения, в том числе для случая разреженных матрицв четвертых, с построением программных средств, ориентированных на пользователя с минимальным уровнем математической и тем более программистской подготовки, что особенно важно в условиях применения персональных ЭВМ. Кроме того, целесообразно более подробно рассмотреть связь между регрессионным анализом и классификацией, имея в виду как установление теоретического соответствия между методами, в частности, построение для задач классификации аналога У/-оценок, так и построение процедур анализа данных, использующих эти методы.

Предложенные методы скорее дополняют, чем заменяют более традиционные методы, такие, как метод наименьших квадратов. В ряде случаев целесообразно строить как А-оценки, как и оценки МНК, тем более что их одновременное построение возможно с минимальными дополнительными затратами. Полученное таким образом семейство оценок позволяет более глубоко рассмотреть объект исследования. При этом для получения доверительных интервалов следует использовать методы, основанные на «скользящем экзамене» .