Регрессионный анализ. 
Методика расчета коэффициентов интерполирующей функции методом наименьших квадратов

Метод наименьших квадратов (МНК) разработан в 1795— 1805 гг. А. М. Лежандром и К. Ф. Гауссом и получил название регрессионного анализа. Благодаря развитию вычислительной техники этот метод получил второе рождение. Дело в том, что вычисления по МНК чрезвычайно громоздки. Программы обработки данных МНК содержатся в математическом обеспечении любой профессиональной ЭВМ.

Существенной особенностью является то, что МНК минимизирует абсолютные значения погрешностей аппроксимации, т. е. требуют, чтобы минимальной была сумма квадратов (Д_ш)², взятых во всех проверяемых точках данной группы:

Линия, которая определяется МНК, называется линией регрессии, а коэффициенты а, Ъ, с, … (а₀, а_ь …, а_к) — коэффициентами линии регрессии.

Прямолинейная интерполяция по методу наименьших квадратов.

Решим предыдущую задачу методом наименьших квадратов. Алгоритм МНК следующий:

1) возвести в квадрат каждое i-e начальное уравнение:

2) результаты сложить почленно при i = 1,2,3,…, п:

3) найти частные производные по а и Ъ от полученной суммы:

4) приравняв к нулю частные производные и сократив на 2, решить полученные два уравнения относительно а и Ъ.

Окончательно.

Примечание. Уравнения, полученные в результате дифференцирования в частных производных, называются нормальными уравнениями.

Отсюда следует, что прямолинейная интерполяция по методу наименьших квадратов сводится к следующим простым операциям:

• 1) умножению левой части каждого начального уравнения на соответствующий коэффициент при первом неизвестном;
• 2) сложению полученных произведений почленно и приравниванию нулю.

Таким образом получают первые нормальные уравнения, число которых равно числу неизвестных. Совместное решение данных уравнений позволяет определить неизвестные параметры а и Ь.

Ответ получается однозначным, в этом состоит преимущество МНК по сравнению с методом средних.

Пример Решим предыдущую задачу по тем же экспериментальным данным, применив МНК.

Подставим значениях и ф в нормальные уравнения:

После сложения произведений получим два нормальных уравнения.

Отсюда а = 0,79 град/мм; b = 37,72 град.

Уравнение интерполирующей прямой ф = 0,79х + 37,72 (рис. 4.10).

Сущность МНК в общем случае.

В результате опыта получают значения xt и у{. Задача состоит в том, чтобы подобрать интерполирующую функцию ут = f (x), обеспечивающую минимальную погрешность интерполяции. Геометрический смысл заключается в проведении плавной кривой ут — f (x), проходящей наиболее близко к опытным отсчетам.

Пусть выбрана модель вида.

1. Для получения системы линейных уравнений относительно искомых параметров а₀ — а_к необходимо сделать замены X = х_ьх² = х₂, …, х^к = х_к.

Рис. 4.10. Пример построения интерполирующих прямых:

• —-по методу средних;——-по методу наименьших квадратов;
• —реальная функция преобразования

Получим модель вида.

2. Между рассчитанными значениями у_т и экспериментальными у_э будут отклонения.

3. Находим значения а₀, а_ь а₂, а_к, при которых по всем к экспериментальным точкам выполняется условие.

или или

4. Необходимо поочередно взять частные производные по а₀, а_ь …, а_к и приравнять их к нулю:

5. Получим систему из (к + 1) уравнений, решением которой являются искомые параметры а₀, а_г, а₂, а_к.