Множественная линейная регрессия

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ (СИБСТРИН) Кафедра прикладной математики Индивидуальное задание По дисциплине «Математическое моделирование»

Тема: «Множественная линейная регрессия«

Студент: Филиппов А.В.

Специальность «Экспертиза, оценка и управление недвижимостью»

группа 115-маг-з Руководитель работы: Воскобойников Ю.Е.

Новосибирск 2013

Исходные данные

регрессия дисперсия детерминация интервал Имеются следующие данные о потреблении некоторого продукта У (в условных единицах). В зависимости от уровня урбанизации (доли городского населения) — переменная X₁, относительного образовательного уровня — X₂, относительного заработка — переменная X₃, для девяти географических районов.

Конкретные значения представлены в таблице 1.

Таблица 1.

Решение

1. Для данного задания может быть построена линейная множественная регрессия вида:

Y=в₀+в₁x_i1+ в₂x_i2+ в₃x_i3+е_i, (1)

где в₀, в₁, в₂, в₃ — коэффициенты регрессионной модели, е — возмущение; i — 1,2…9.

Тогда оценка для данной регрессии имеет вид:

y=b₀+b₁x₁+ b₂x₂+ b₃x₃, (2)

где b₀, b₁, b_2, b₃ — коэффициенты уравнения регрессии.

Введем матричные обозначения и матричные вычисления, тогда справедливы следующие формулы

(3)

(4)

(5)

Коэффициенты уравнения множественной регрессии находятся по формуле:

b=(X^T*X)^-1*(X^T*y), (6)

Решение представлено на рисунке 1.

Рисунок 1 — Расчет коэффициентов линейной множественной регрессии Таким образом уравнение регрессии имеет вид:

y=-241.085+1,14x_i1+ 33.422x_i2+ 0.373x_i3,

где i = 1,2 …9.

2. Для определения дисперсий найденных коэффициентов уравнения регрессии нужно рассчитать оценку дисперсии случайной составляющей s²:

(7)

где nобъем выработки (n=9), m-число оцениваемых параметров (m=k+1=4), e_i-невязка i-го измерения.

e_i=y_i— y_i, (8)

Тогда оценка дисперсии коэффициента уравнения регрессии b_j, рассчитывается по формуле:

(9)

где — j-й диагональный элемент матрицы .

Отсюда следует, что коэффициент b_jзначим (принимается гипотеза H₁: b_j?0), если выполняется условие:

|T_bj|=|| >t (1-б, n-m),

где m — количество коэффициентов регрессии, б — уровень значимости (0,05).

Решение представлено на рисунке 2.

Рисунок 2 — Расчет дисперсий коэффициентов уравнения регрессии и проверка их значимости.

Как видно из расчетов, неравенство значимости коэффициента не выполняется для всех коэффициентов (x₁, x2, x3,x₄).

3. Коэффициент детерминации рассчитывается по формуле:

(10)

где (y_i— y_i)² — вектор, состоящий из квадратов невязки можно взять из предыдущего расчета, y_ср — вектор размерности n=9, составленный из средних значений.

Если известен коэффициент детерминации, то скорректированный коэффициент детерминации:

(11)

Расчет представлен на рисунке 3.

Рисунок 3 — Расчет коэффициента детерминации, скорректированного коэффициента детерминации и значение коэффициента F.

(12)

то есть уравнение множественной регрессии статистически не значимо (гипотеза H₀).

4. 95%-ный доверительный интервал для коэффициентов в_j:

(13)

Результаты представлены на рисунке 4.

Рисунок 4 — Интервальная оценка коэффициентов уравнения регрессии.

Интервалы:

для в₀ — [-724,179; 242,009];

для в₁ — [-12.37;14.649];

для в₂ — [-27,043; 93.886];

для в₃ — [-4,899; 5.645].

5. Доверительный интервал для f (x) = M (Y/x):

(14)

где S_y(x) рассчитывается по формуле:

(15)

гдевектор, координаты которого определяют значения объясняющих переменных, при которых вычисляется значение регрессии y. Расчет представлен на рисунке 5 (у_н — нижняя граница, у_в — верхняя граница).

Рисунок 5 — Доверительный интервал для f (x) = M (Y/x).

6. Рассматриваемая классическая модель множественной линейной регрессии в данном случае не отражает в должной мере количественную зависимость между экономическими явлениями. Построенное уравнение регрессии с помощью существующих независимых переменных объясняет изменение зависимой переменной на 53,7%, а в скорректированном виде — на 25,9%. Таким образом, получаем не значимость уравнения регрессии, и не значимость всех коэффициентов, что может быть вызвано недостатком объясняющих переменных и мультиколлинеарностью (стохастической) — наличием высокой взаимной коррелированности между объясняющими переменными.

7. Для исключения мультиколлинеарности и повышения точности построенной регрессионной модели проводим пошаговое введение наиболее информативных объясняющих моделей с построением корреляционной таблицы и расчетом обыкновенного и скорректированного коэффициентов детерминации для каждого шага. Расчет представлен на рисунке 6. На рисунке 7 представлен расчет коэффициентов детерминации на втором шаге.

Выбирается та переменная, которая больше другой коррелированна с у. В нашем случае это x₂. Выбираем ее для того, чтобы в дальнейших расчетах получить большее значение скорректированного коэффициента детерминации чем в исходной модели. Для построенной модели рассчитываются обыкновенный и скорректированный коэффициенты детерминации. Причем для парной регрессии обыкновенный коэффициент детерминации равен квадрату соответствующего коэффициента корреляции.

Рисунок 6 — Отбор объясняющих переменных регрессионной модели.

Рисунок 7 — Построение регрессионной модели на шаге 2 отбора объясняющих переменных и расчет коэффициентов уравнения регрессии для новой модели.

8. На втором шаге в модель попеременно добавляются переменныеx₁ и x₃. Для этих уравнений рассчитываются коэффициенты уравнения (рисунок 7), коэффициенты детерминации, скорректированные коэффициенты детерминации, F-критерии.

Оценивая найденные значения можно сказать, что введение дополнительных переменных на втором шаге снижает значение коэффициента детерминации и уравнение регрессии становится статически не значимо.

Расчет всех необходимых параметров для уравнения регрессии с переменной x₂ приведен на рисунке 8.

Рисунок 8 — Расчет параметров уравнения парной регрессии Согласно расчета, только второй коэффициент уравнения регрессии является значимыми, как и само уравнение регрессии. Произведены расчеты для определения доверительных интервалов в_jи доверительного интервала f (x) = M (Y/x).

9. Скорректированный коэффициент детерминации для второго уравнения больше, чем для первого, что говорит о большей адекватности второго варианта, предпочтительность второй регрессии можно доказать и через F-критерий.

То есть неравенство выполняется, можно сделать вывод о значимости построенного уравнения регрессии, следовательно, исследуемая зависимость у достаточно хорошо описывается включенной в регрессионную модель переменной x₁. В первой же модели это условие не выполняется, поэтому первое регрессионное уравнение незначимо.

10. Прогноз с использованием второго уравнения регрессии:

при x₁=34 x₂=10,3 x₃=26,2.

y=37,1x_i1, = 382,13.

Рисунок 9 -Построение интервальной оценки для M (Y/x).

Общий вывод

Классическая линейная модель в рамках множественного регрессионного анализа не всегда адекватно и точно отражает зависимость между переменными. В случае наличия мультиколлинеарности, недостатка или переизбытка объясняющих переменных, попадая в уравнение регрессии случайной составляющей, применяют специальные методы выявления и устранения проблем. В итоге с упором на принцип наименьшей сложности и высокой информативности может быть построена эффективная регрессионная модель.