НОУ ИНТУИТ | Введение в эконометрику. Лекция 3: Множественная регрессия

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 10.09.2016 | Уровень: для всех | Доступ: платный

|

Вам нравится? Нравится 27 студентам

| Поделиться |

Поддержать программу

3.9. Проблема мультиколлинеарности факторов

Под мультиколлинеарностью понимается высокая степень коррелированности объясняющих переменных. Крайний случай мультиколлинеарности - линейная зависимость между столбцами информационной матрицы. При этом определитель матрицы $Х^{T}Х$ равен нулю и не существует обратной матрицы $С = (Х^{T}Х)^{-1}$ . Расчет коэффициентов модели по МНК в этом случае невозможен. Гораздо чаще в экономических исследованиях встречается стохастическая мультиколлинеарность. В этом случае корреляционная связь между факторами высокая, определитель матрицы $Х^{T}Х$ мал, а следовательно, велики элементы, в том числе диагональные, матрицы $С = (Х^{T}Х)^{-1}$ . Эти элементы входят в формулы для расчета дисперсии коэффициентов модели и дисперсии расчетного и наблюдаемого значений зависимой переменной. Качество модели падает, так как модель становится чувствительной к незначительным изменениям в величине и объеме данных. Прогноз по такой модели теряет смысл, а коэффициенты могут не отвечать требованиям теоретических предпосылок.

Рассмотрим пример: Пусть точное уравнение, связывающее зависимую переменную с тремя объясняющими переменными, имеет вид

$\hat{y} = 15 + x_{1} + 3x_{2} + 5x_{3}$ .

(3.38)

Прибавим к точным значениям $\hat{y}$ ошибку наблюдения $\delta$ , получим наблюдаемые значения зависимой переменной $y = \hat{y} + \delta$ . Данные наблюдений отражает табл. 3.9.

Таблица 3.9.
$x_{1}$	$x_{2}$	$x_{3}$	$\hat{y}$	$\delta$
1,1	1,1	1,2	25,40	0,8	26,20
1,4	1,5	1,1	26,40	-0,5	25,90
1,7	1,8	2,0	32,10	0,4	32,50
1,7	1,7	1,8	30,80	-0,5	30,30
1,8	1,9	1,8	31,50	0,2	31,70
1,8	1,8	1,9	31,70	1,9	33,60
1,9	1,8	2,0	32,30	1,9	34,20
2,0	2,1	2,1	33,80	0,6	34,40
2,3	2,4	2,5	37,00	-1,5	35,50
2,5	2,5	2,4	37,00	0,5	36,50

Переменные $x_{1}, x_{2}, x_{3}$ сильно коррелируют друг с другом

$(r_{x_{1}x_{2}} = 0,985; r_{x_{1}x_{1}} = 0,931; r_{x_{1}x_{2}} = 0,915).$

Метод наименьших квадратов для наблюдаемой переменной y приводит к уравнению

$y = 17,112 + 7,266_{x_{1}} - 5,517_{x_{2}} + 6,39_{x_{3}}.$

(3.39)

Различие в моделях (3.38) и (3.39) очевидно. Поменялся даже знак коэффициента при $x_{2}$ , что приводит к неверным выводам не только в количественном описании взаимодействия факторов с выходной переменной, но и в качественном. Использовать модель (3.39) невозможно.

Существуют различные методы, которые могут быть использованы для смягчения мультиколлинеарности. Прежде всего к ним относятся методы, уменьшающие дисперсию оценок. К таким методам относятся: радикальное увеличение числа опытов; отбор из множества объясняющих переменных тех переменных, которые имеют наиболее низкие взаимные коэффициенты корреляции; на стадии подготовки данных максимизация дисперсии наблюдений независимых переменных путем расслоения выборки; уменьшение дисперсии остатков путем введения упущенной в первоначальной модели важной переменной.

Кроме того, для смягчения мультиколлинеарности используют внешнюю информацию о структуре модели, ввод ограничений на величину оценок или связи между коэффициентами модели.

Еще одним способом устранения мультиколлинеарности является переход от несмещенных оценок МНК с большой дисперсией к смещенным оценкам, но с гораздо меньшей дисперсией. В результате доверительный интервал той же длины для смещенного коэффициента будет с большей вероятностью накрывать истинный коэффициент. Метод построения модели, использующий эту идею, называется методом гребневой регрессии (ридж-регрессии). При этом расчет коэффициентов модели проводят по формуле

$\beta _{гр} = (Х^{T}Х + \Delta _{гр}I_{k + 1})^{-1}Х^{T}Y,$

где

$\Delta _{гр}$	-	некоторое подбираемое исследователем положительное число, называемое гребнем;
$I_{k + 1}$	-	единичная матрица -го порядка.

Величина $\Delta _{гр}$ выбирается исходя из условий компромисса между желанием уменьшить $\Delta _{гр}$ - смещенность оценки $\beta$ - и стремлением уменьшить ее дисперсию за счет увеличения определителя матрицы $Х^{T}Х + \Delta _{гр}I_{k + 1}.$

Наконец, можно провести преобразование исходных данных, задействовать новые ортогональные факторы, называемые главными компонентами, и получить уравнение регрессии. Этот метод называется регрессией на главные компоненты.

3.10. Метод главных компонент

Основная идея метода заключается в замене сильно коррелированных переменных совокупностью новых переменных, между которыми корреляция отсутствует. При этом новые переменные являются линейными комбинациями исходных переменных

Переменные $z_{1}, z_{2}, \dots, z_{m}$ называют главными компонентами. Будем подбирать их так, чтобы $z_{1}$ имела наибольшую дисперсию. Для каждой следующей компоненты дисперсия убывает, а последняя компонента будет иметь наименьшую дисперсию. Предположим, исходные переменные $x_{1}, x_{2}, \dots , x_{m}$ уже стандартизированы так, что все переменные имеют нулевое математическое ожидание и единичную дисперсию. При этом матрица $V = X^{T}X$ является корреляционной матрицей для исходных данных.

Для первой главной компоненты где $a_{1} = a_{11}, a_{12}, \dots , a_{1m}$ , справедливы равенства

$M(z_{1}) = a_{1}^{T} x M(x^{T}) = 0;\\ D(z_{1}) = M(z_{1}^{2}) = M(a_{1}^{T}x^{T}xa_{1}) = a_{1}^{T}M(x^{T}x)a_{1} = a_{1}^{T}Va_{1}.$

Как известно из теории положительно определенных симметричных матриц, невырожденная корреляционная матрица $V = X^{T}X$ имеет положительных собственных значений и соответствующих им ортогональных собственных векторов.

Пусть $a_{1}$ собственный вектор матрицы $V = X^{T}X, а \lambda _{1}$ соответствующее ему собственное значение, т.е. $Va_{1} = \lambda _{1}a_{1}$ . Умножив последнее равенство слева на $a_{1}^{T}$ получаем $a_{1}^{T}Va_{1} = \lambda _{1}a_{1}$ . Чтобы однозначно определить вектор $a_{1}$ , введем дополнительное требование: $a_{1}^{T}a_{1} = 1$ . Тогда $D(z_{1}) = a_{1}^{T}Va_{1} = \lambda _{1}$ и проблема нахождения первой главной компоненты с максимальной дисперсией решается путем нахождения наибольшего собственного значения $\lambda _{1}$ и соответствующего ему собственного вектора $a_{1}$ корреляционной матрицы $V = X^{T}X$ .

Аналогично находим вторую главную компоненту при условии нормировки $a_{2}^{T}a_{2} = 1$ и линейной независимости (ортогональности векторов) $a_{2}^{T}a_{2} = 0$ . Дисперсия второй главной компоненты $z_{2}$ будет равна второму по величине собственному значению $\lambda _{2}$ матрицы $V = X^{T}X$ . Убедимся, что главные компоненты $z_{1}$ и $z_{2}$ не коррелируют между собой. Действительно,

$cov(z_{1},z_{2}) = M(z_{1} - M(z_{1}), z_{2} - m(z_{2})) = M(z_{1},z_{2}) = \\ = M(a_{1}^{T}xx^{T}a_{2}) = a_{1}^{T}M(xx^{T})a_{2} = a_{1}^{T}Va_{2} = a_{1}^{T}\lambda _{2}a_{2} = \lambda _{2}a_{1}^{T}a_{2} = 0.$

Продолжая процесс построения, получаем систему главных компонент, не коррелирующих друг с другом, с дисперсиями, равными собственным числам корреляционной матрицы . Исходные переменные были сильно коррелированны, поэтому матрица $V = X^{T}X$ плохо обусловлена, т.е. ее определитель близок к нулю. Вместе с тем можно показать, что определитель $V = \lambda _{1} \cdot \lambda _{2} \cdot \dots \cdot \lambda _{m}$ . Следовательно, одно или несколько последних собственных значений матрицы могут оказаться достаточно малы. Отбросив соответствующие главные компоненты, мы получаем возможность сократить размерность задачи, уменьшить число факторов в модели.

Применим метод главных компонент к рассмотренному выше примеру (см. табл. 3.4).

Составим корреляционную матрицу С и определим ее собственные векторы и собственные значения, используя, например, пакет МАТКАД.

Первая главная компонента имеет вид

$z_{1} = 0,5832x_{1} + 0,58x_{2} + 0,569x_{3}.$

(3.40)

Аналогично вычисляются остальные главные компоненты. Коэффициенты корреляции между и главными компонентами $z_{1}, z_{2}, z_{3}$ равны $r_{yz}1 = 0,956; r_{yz}2 = -0,185; r_{yz}3 = - 0,1$ . Это еще раз подтверждает, что почти вся информация о линейной связи между и $x_{1}, x_{2}, x_{3}$ сводится к информации о связи между и первой главной компонентой . Если написать уравнение регрессии, связывающее переменную и $z_{1}$ , а затем, используя уравнение (3.40), перейти к исходным переменным $x_{1}, x_{2}, x_{3}$ в естественной, а не в стандартизированной форме, то получим окончательное уравнение

$y = 16,542 + 4,841z_{1} = 16,542 + 2,822x_{1} + 2,808x_{2} + 2,755x_{3}.$

(3.41)

Уравнение (3.41) правильно отражает качественные свойства зависимостей и значительно ближе к точному уравнению (3.39), чем классическое МНК-уравнение (3.40).

Дальше >>

Введение в эконометрику

Введение в эконометрику

Множественная регрессия

3.9. Проблема мультиколлинеарности факторов

3.10. Метод главных компонент

Вопросы и ответы

Студенты

Авторизоваться

Введение в эконометрику

Введение в эконометрику

Множественная регрессия

3.9. Проблема мультиколлинеарности факторов

3.10. Метод главных компонент

Вопросы и ответы

Студенты