Опубликован: 10.09.2016 | Уровень: для всех | Доступ: платный
Дополнительный материал 3:

Приложение 3: Геометрическая интерпретация метода наименьших квадратов

Для геометрического вывода условий, которым должны удовлетворять оценки коэффициентов \beta, рассмотрим частный случай исходных данных. Предположим, что имеются только два наблюдения, которые могут быть представлены в виде векторов Y^{T} = (y_{1}, y_{2}) и X^{T} = (x_{1}, x_{2}). Кроме того, будем предполагать, что прямая регрессионной модели проходит через начало координат, т.е. что \beta _{0} = 0. Заметим, что это предположение не является сколько-нибудь существенным, поскольку для его выполнения достаточно центрирования исходных данных. В этом случае уравнению Y = X\beta + \varepsilon будут соответствовать следующие геометрические построения (рис.).


Рис. 1.

Вектор X\beta (или \beta X) получается путем умножения вектора X на число \beta и, следовательно, будет коллинеарен вектору X. Вектор \varepsilon будет равняться разности векторов Y и X\beta. Значение оценки вектора \beta следует выбрать таким образом, чтобы модуль вектора \varepsilon был минимальным. Как следует из геометрических построений, минимальное расстояние от точки с координатами (y_{1}, y_{2}) до прямой X\beta будет достигаться на перпендикуляре, опущенном из этой точки на указанную прямую. Следовательно, необходимым и достаточным условием минимизации и 124 будет условие ортогональности Y – Xb и X. Известно, что необходимым и достаточным условием ортогональности двух векторов является равенство нулю их скалярного произведения. Таким образом, получаем уравнение X T(Y - Xb) = 0, которое называется нормальным. Выполнив соответствующие преобразования, приходим в общем случае к системе нормальных уравнений

X ^{T}Xb = X ^{T}Y

Если матрица системы X^{T}X невырожденная, то существует обратная матрица (X^{T}X)^{-1} и система нормальных уравнений будет иметь решение

b = (X^{T}X)^{-1}X ^{T}Y

Оценки вектора \beta, полученные при решении системы нормальных уравнений, называются оценками, полученными по методу наименьших квадратов, или МНК-оценками. Зная значения решения b, можно вычислить расчетные (прогнозные) значения переменной Y:

Y = Xb = X(X ^{T}X)^{-1}X ^{T}Y

Геометрически вектор является ортогональной проекцией вектора Y на линейное пространство, натянутое на векторы X_{i}, т.е. наилучшей аппроксимацией Y линейной комбинацией векторов X_{i}.

Из геометрических соображений также следует, что векторы Y и e = Y - Y ортогональны, а следовательно, выполняется равенство

Y ^{T}(Y - Y) = 0
или Y ^{T}Y = Y ^{T}Y.

Инесса Воробьева
Инесса Воробьева

В дисциплине "Основы эконометрики" тест 6 дается по теме 7.

Вера Борисова
Вера Борисова
Россия
Студентик Студент
Студентик Студент
Россия