Методы отбора факторов для уравнения множественной регрессии (4 видео)

Содержание

06. Спецификация модели. Отбор факторов при построении уравнения множественной регрессии
Множественный регрессионый анализ
Проблема выбора факторов для множественной регрессии
📹 Видео

Видео:Регрессия урок 1: отбор факторов для моделиСкачать

06. Спецификация модели. Отбор факторов при построении уравнения множественной регрессии

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между факторами существует высокая корреляция (взаимосвязь), то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором M факторов, то для нее рассчитывается показатель детерминации , который фиксирует долю объясненной вариации результирующего показателя за счет рассматриваемых в регрессии M факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией .

При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

и .

Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически является лишним фактором.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты интеркорреляции (т. е. коэффициенты корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т. е. находятся между собой в линейной зависимости, если . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:

Видео:Множественная регрессия в Excel и мультиколлинеарностьСкачать

Множественный регрессионый анализ

Мультиколлинеарность имеет место, если определитель матрицы межфакторной корреляции близок к нулю:

.
Если же определитель матрицы межфакторной корреляции близок к единице, то мультиколлинеарности нет.Существуют различные подходы преодоления сильной межфакторной корреляции. Простейший из них – исключение из модели фактора (или факторов), в наибольшей степени ответственных за мультиколлинеарность при условии, что качество модели при этом пострадает несущественно (а именно, теоретический коэффициент детерминации —R 2 _{y(x1. xm}₎ снизится несущественно).

Определение факторов, ответственных за мультиколлинеарность, может быть основано на анализе матрицы межфакторной корреляции. При этом определяют пару признаков-факторов, которые сильнее всего связаны между собой (коэффициент линейной парной корреляции максимален по модулю). Из этой пары в наибольшей степени ответственным за мультиколлинеарность будет тот признак, который теснее связан с другими факторами модели (имеет более высокие по модулю значения коэффициентов парной линейной корреляции).

Еще один способ определения факторов, ответственных за мультиколлинеарность основан на вычислении коэффициентов множественной детерминации (R 2 _{xj(x1. xj-1,xj+1. xm}₎), показывающего зависимость фактора xj от других факторов модели x1. xj-1, xj+1. xm. Чем ближе значение коэффициента множественной детерминации к единице, тем больше ответственность за мультиколлинеарность фактора, выступающего в роли зависимой переменной. Сравнивая между собой коэффициенты множественной детерминации для различных факторов можно проранжировать переменные по степени ответственности за мультиколлинеарность.
При выборе формы уравнения множественной регрессии предпочтение отдается линейной функции:
y_i =a+b₁·x1_i+ b₂·x2_i+. + b_m·xm_i+u_i
в виду четкой интерпретации параметров.
Данное уравнение регрессии называют уравнением регрессии в естественном (натуральном) масштабе. Коэффициент регрессии b_jпри факторе хjназывают условно-чистым коэффициентом регрессии. Он измеряет среднее по совокупности отклонение признака-результата от его средней величины при отклонении признака-фактора хj на единицу, при условии, что все прочие факторы модели не изменяются (зафиксированы на своих средних уровнях).
Если не делать предположения о значениях прочих факторов, входящих в модель, то это означало бы, что каждый из них при изменении хj также изменялся бы (так как факторы связаны между собой), и своими изменениями оказывали бы влияние на признак-результат.

Видео:Множественная регрессия в ExcelСкачать

Проблема выбора факторов для множественной регрессии

Тема № 3. Множественная корреляция и регрессия.

Проблема выбора факторов для множественной регрессии

2. Способы линеаризации связей фактора с результативным признаком

3. Уравнение многофакторной регрессии, его построение и интерпретация

Стандартизированные коэффициенты регрессии и коэффициенты эластичности и их интерпретация

Система показателей тесноты многофакторной связи

Методы оценки степени надежности многофакторной регрессии

Корреляционно-регрессивные модели и их применение в анализе и прогнозе социально-экономических явлений.

Измерение связи неколичественных признаков. Фиктивные переменные

Предпосылки метода наименьших квадратов при нахождении параметров уравнения множественной регрессии

Проблема выбора факторов для множественной регрессии

В реальной жизни, социальных и экономических системах на результативный признак всегда влияет множество факторных признаков. Кроме того, ввиду математических свойств МНК в уравнение регрессии нельзя включать число факторов ≥ (n — 1), где n число наблюдений. А для надлежащих оценок параметров число фактов должно быть в 5 – 6 раз меньше числа наблюдений. Т.к. между самими факторами существует связь, то парная корреляция и регрессия измеряют не чистое влияние каждого фактора, но и часть влияния других факторов, не включенных в модель, но связанных с данными.

Парная регрессия может дать хороший результат, если влиянием других факторов, не включенных в модель, можно пренебречь. Однако исследователь никогда не может быть уверен в справедливости данного предположения. Поэтому, как правило, в эконометрических исследованиях для более полной и точной оценки применяется модель множественной регрессии

Множественная регрессия используется для решения проблем спроса, доходности акций при изучении функций издержек. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также их совокупное влияние на моделируемый показатель. Построение модели начинают с решения вопроса о спецификации модели. Во множественной регрессии спецификация модели включает в себя решение двух вопросов:

1. отбор факторов

2. выбор вида уравнения.

Факторы включенные в модель должны отвечать следующим требованиям:

1. должны быть количественно измеримы; если необходимо включать качественный фактор, то ему необходимо придать количественное определение.

2. не должны быть интеркоррелированны (т.е. факторные признаки не должны находится в тесной зависимости между собой) и находится в точной функциональной связи. При включении в модель факторов с высокой интеркорреляцией ( ) для множественной регрессии может привести к нежелательным последствиям, т.е. система норм уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если существует высокая корреляция между факторами, то нельзя установить их изолированное влияние на результативный показатель, и параметры уравнения регрессии окажутся не интерпретируемыми.

Факторы множественной регрессии должны объяснять вариацию зависимой переменной. Если строится модель с набором факторов P, то для нее рассчитывается показатель множественной детерминации R 2 , который фиксирует долю объяснений вариации результативного признака за счет рассмотрения в регрессии P — факторов. Влияние неучтенных факторов оценивается как 1 – R 2 с соответствующей остаточной дисперсией.

При дополнительном включении в регрессию (P+1) – го фактора R 2 должен возрастать, Docm уменьшаться. Если этого не происходит и данные показатели мало отличаются друг от друга, то включенный в анализ (P+1) – фактор не улучшает модель и является практически лишним фактором.

Пример. Допустим, для множественной регрессии, включающей 5 факторов, R 2 = 0,85, а при включении 6-го фактора ® R 2 = 0,786. Значит включение 6-го фактора нецелесообразно.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии, но и приводит к статической незначимости параметров регрессии по t – критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, но практически – в этом нет необходимости.

Отбор факторов производится на основе качественного теоретико-жизненного анализа и проходит в 2 стадии:

1. подбираются факторы, исходя из сущности проблемы,

2. на основе матрицы показателей корреляции определяют t–статистики для параметров регрессии. Коэффициенты интеркорреляции (т.е. корреляции между факторными признаками) позволяют исключить из модели факторы, дублирующие друг друга.

Считается, что 2 переменные являются коллинеарными, т.е. находятся между собой в линейной зависимости, если коэффициент

Поскольку одним из условий построения уравнения множественной регрессии является независимость действия факторов (в идеале коэффициент ), то коллинеарность факторов нарушает это условие.

Если факторы явно коллинеарны, то они дублируют друг друга и один из них необходимо исключить из модели.

Правило: предпочтение отдается не фактору, который более тесно связан с результатом, а тому фактору, который при достаточной связи с результатом имеет номинальную тесноту связи с другими факторами.

Пример. Изучается зависимость между

Построим матрицу парных коэффициентов корреляции

y	x	z	V
y
x	0,9
z	0,8	0,9
v	0,7	0,6	0,3

Факторы X и Z явно коллинеарны, т.е. дублируют друг друга

В модели оставляем фактор Z, т.к. несмотря на то, что коэффициенты парной корреляции

, но зато связь Z с другим фактором слабее:

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем 2 фактора связаны между собой линейной зависимостью, т.е. наблюдается совокупность воздействия факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценивать влияние каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка параметров с помощью МНК.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

1. затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов «в чистом» виде, т.к. факторы интерколлинеарны. Параметры линейной регрессии теряют жизненный смысл.

2. оценки параметров ненадежны, обнаруживаются большие стандартные ошибки и меняют с изменением объема наблюдений не только по величине, но и по знаку, что делает модель непригодной для анализа и прогноза.

2. Способы линеаризации связей фактора с результативным признаком

Для оценки параметров нелинейных уравнений используют 2 подхода:

1. основан на линеаризации модели и заключается в том, что с помощью подходящих преобразований исходных переменный исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.

2. обычно применяют в случае, когда подобрать соответствующее линеаризационное преобразование невозможно. В этом случае применяют методы нелинейной оптимизации на основе исходных переменных.

По аналогии с парной корреляцией.

3. Уравнение многофакторной регрессии, его построение и интерпретация

Как и в парной зависимости возможны различные виды множественной регрессии: линейные и нелинейные. В виду четной интерпретации параметров наиболее широко используются линейная и степенные функции.

В уравнении множественной регрессии:

Коэффициенты при х называются коэффициентами «чистой» регрессии. Они показывают среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

Параметр а не подлежит экономической интерпретации.

Параметры уравнения множественной регрессии оцениваются как в парной регрессии МНК, при котором строится система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии.

Т. о. для уравнения

Система нормальных уравнений будет иметь следующий вид:

Ее решение может быть осуществлено методом определителей

Где Δа, Δb – частные определители системы, при этом

Δа, Δb, … , Δb_р получаются путем замены соответствующего столбца матрицы общего определителя данной системы данными левой части системы.

у – отношение прибыли ко всем активам банка, %

х₁ – Доля ГКО в активах, %

х₂ – отношение непроцентных доходов к процентным доходам деятельности банка, %

х₃ – коэффициент полной ликвидности банка

Построить множественную модель

Таблица 1. Исходные данные и расчетные величины для анализа.

№ банк	у,%	х₁,%	х₂,%	х₃,%
13,5	24,0	2,5	1,27	8,1	5,4	29,16
25,5	51,0	4,5	1,97	20,1	5,4	29,16
1,2	10,4	2,5	2,15	7,8	-6,6	43,56
1,3	14,1	1,6	1,27	4,8	-3,5	12,25
4,5	4,7	0,3	1,34	1,9	2,6	6,76
2,7	15,8	0,5	0,97	3,8	-1,1	1,21
12,2	29,2	0,5	1,15	9,4	2,8	7,84
4,2	31,0	6,6	1,07	10,1	-5,9	34,81
4,4	13,5	1,0	1,08	3,7	0,7	0,49
2,8	2,2	0,6	1,36	1,3	0,8	0,64
7,5	50,3	2,1	1,11	15,7	-8,2	67,24
14,4	28,3	7,2	1,18	9,7	4,7	22,09
11,4	30,4	1,2	1,10	9,2	2,2	4,84
S	10,49	304,9	31,1	1,7,02	105,6	х	260,05
ср	8,1	23,5	2,39	1,31

1. Рассчитать по всем показателям среднее значение ( и V. Результат занесем в таблицу 2.

Таблица 2. Характеристики ряда распределения

Факторы	Среднее значение	Среднее квадратное отклонение	Коэффициент вариации
х₁	23,5	14,83	0,632
х₂	2,39	2,22	0,929
х₃	1,31	0,34	0,261
у	8,1	6,80	0,843

Получим, что х₁, х₂, и у совокупность неоднородно, следовательно, должны исключить аномальные наблюдения

Не исключаем, т.к. важна методика .

2. Рассчитаем уравнение парной регрессии между результатом и каждым из факторных признаков.

Установим коэффициенты парной корреляции и детерминации (они характеризуют изолированное влияние каждого фактора на результат, т.к. другие факторы применяются на неизменном уровне).

Парные уравнения регрессии

Уравнение регрессии позволяет сделать вывод, что с увеличением доли ГКО в активах на 1% пункт, доля прибыли по всем активам увеличивается в среднем на 0,329 % пунктов.

r_yx₁ = 0,718 – связь прямая и достаточно сильная

r 2 _yx1 = 0,516 – при условии др. не считается

с увеличением отношения непроцентных доходов к процентным доходам на 1% пунктов, доля прибыли по всем активам увеличивается в среднем на 1,215%

r_yx₃ = 0,241 – связь непрямая и слабая

С увеличением коэффициента полной ликвидности банка на 1 % доля прибыли по всем активам увеличивается в среднем на 4,788%

Вариация х₃ объясняет вариацию у на 5,8 %

3. Построим матрицу парных коэффициентов вариации для выявления явно коллинеарных факторов.

Таблица 3. Матрица парных коэффициентов корреляции.

Признаки	у	х₁	х₂	х₃
у
х₁	0,718
х₂	0,516	0,462
х₃	0,241	0,0053	0,134

Явно коллинеарных факторов нет, т.к. коэффициенты парной корреляции между факторными признаками не превышают 0,7.

Способы определения коэффициентов условно чистой регрессии.

Для определения данных коэффициентов рассчитаем определители

i – номер наблюдения,

j – номер фактора.

Результаты занесем в вспомогательную таблицу.

Таблица 4. Расчет многофакторной регрессии.

№ банк	Dх₁	Dх₂	Dх₃	Dу	D 2 х₁	D 2 х₂	D 2 х₃	D 2 у	DуDх₁	DуDх₂	DуDх₃	Dх₁Dх₂	Dх₁Dх₃	Dх₂Dх₃
0,5	-0,04
27,5	0,66
-13,1	0,84
-9,4	-0,04
-18,1	0,03
-7,7	-0,34
5,7	-0,16
7,5	-0,24
-10,0	-0,23
-21,3	0,05
-26,9	-0,20
4,8	-0,13
6,9	-0,23
å	—	64,11	1,52	77,92	7,277	197,82	0,55	1,320

Для определения коэффициентов условно чистой регрессии рассчитаем систему нормальных уравнений

Из вспомогательной таблицы № 4 подставляем необходимые данные

Уравнение многофакторной регрессии примет вид

Подставляя в данное уравнение значение факторов х₁, х₂, х₃ получим теоретическое значение результативного признака.

Т.о. в отличии от коэффициентов парной регрессии, коэффициенты условно чистой регрессии измеряют влияние фактора, абстрагируясь от связей вариации этого фактора с вариациями другого фактора, включенных в модель.

Коэффициенты условно чистой регрессии, т.е. b_j являются именованными числами, выраженными в различных единицах измерения, в тех же единицах, что и соответствующие им факторы. Поэтому они не сравнимы друг с другом, т.е. по их величине нельзя сделать вывод, какой из факторов в наибольшей степени влияет на результат. Для приведения их в сравнимый вид применяется то же преобразование, что и для получения парных коэффициентов. Полученную величину называют стандартизированным коэффициентом регрессии.