Методы отбора факторов для уравнения множественной регрессии

Видео:Множественная регрессия в ExcelСкачать

Множественная регрессия в Excel

06. Спецификация модели. Отбор факторов при построении уравнения множественной регрессии

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между факторами существует высокая корреляция (взаимосвязь), то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором M факторов, то для нее рассчитывается показатель детерминации Методы отбора факторов для уравнения множественной регрессии, который фиксирует долю объясненной вариации результирующего показателя за счет рассматриваемых в регрессии M факторов. Влияние других, не учтенных в модели факторов, оценивается как Методы отбора факторов для уравнения множественной регрессиис соответствующей остаточной дисперсией Методы отбора факторов для уравнения множественной регрессии.

При дополнительном включении в регрессию Методы отбора факторов для уравнения множественной регрессиифактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

Методы отбора факторов для уравнения множественной регрессиии Методы отбора факторов для уравнения множественной регрессии.

Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор Методы отбора факторов для уравнения множественной регрессиине улучшает модель и практически является лишним фактором.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты интеркорреляции (т. е. коэффициенты корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т. е. находятся между собой в линейной зависимости, если Методы отбора факторов для уравнения множественной регрессии. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Пусть, например, при изучении зависимости Методы отбора факторов для уравнения множественной регрессииматрица парных коэффициентов корреляции оказалась следующей:

Видео:Регрессия урок 1: отбор факторов для моделиСкачать

Регрессия урок 1: отбор факторов для модели

Множественный регрессионый анализ

Мультиколлинеарность имеет место, если определитель матрицы межфакторной корреляции близок к нулю:

Методы отбора факторов для уравнения множественной регрессии.
Если же определитель матрицы межфакторной корреляции близок к единице, то мультиколлинеарности нет.Существуют различные подходы преодоления сильной межфакторной корреляции. Простейший из них – исключение из модели фактора (или факторов), в наибольшей степени ответственных за мультиколлинеарность при условии, что качество модели при этом пострадает несущественно (а именно, теоретический коэффициент детерминации —R 2 y(x1. xm) снизится несущественно).

Определение факторов, ответственных за мультиколлинеарность, может быть основано на анализе матрицы межфакторной корреляции. При этом определяют пару признаков-факторов, которые сильнее всего связаны между собой (коэффициент линейной парной корреляции максимален по модулю). Из этой пары в наибольшей степени ответственным за мультиколлинеарность будет тот признак, который теснее связан с другими факторами модели (имеет более высокие по модулю значения коэффициентов парной линейной корреляции).

Еще один способ определения факторов, ответственных за мультиколлинеарность основан на вычислении коэффициентов множественной детерминации (R 2 xj(x1. xj-1,xj+1. xm)), показывающего зависимость фактора xj от других факторов модели x1. xj-1, xj+1. xm. Чем ближе значение коэффициента множественной детерминации к единице, тем больше ответственность за мультиколлинеарность фактора, выступающего в роли зависимой переменной. Сравнивая между собой коэффициенты множественной детерминации для различных факторов можно проранжировать переменные по степени ответственности за мультиколлинеарность.
При выборе формы уравнения множественной регрессии предпочтение отдается линейной функции:
yi =a+b1·x1i+ b2·x2i+. + bm·xmi+ui
в виду четкой интерпретации параметров.
Данное уравнение регрессии называют уравнением регрессии в естественном (натуральном) масштабе. Коэффициент регрессии bjпри факторе хjназывают условно-чистым коэффициентом регрессии. Он измеряет среднее по совокупности отклонение признака-результата от его средней величины при отклонении признака-фактора хj на единицу, при условии, что все прочие факторы модели не изменяются (зафиксированы на своих средних уровнях).
Если не делать предположения о значениях прочих факторов, входящих в модель, то это означало бы, что каждый из них при изменении хj также изменялся бы (так как факторы связаны между собой), и своими изменениями оказывали бы влияние на признак-результат.

Видео:Множественная регрессия в Excel и мультиколлинеарностьСкачать

Множественная регрессия в Excel и мультиколлинеарность

Проблема выбора факторов для множественной регрессии

Тема № 3. Множественная корреляция и регрессия.

Проблема выбора факторов для множественной регрессии

2. Способы линеаризации связей фактора с результативным признаком

3. Уравнение многофакторной регрессии, его построение и интерпретация

Стандартизированные коэффициенты регрессии и коэффициенты эластичности и их интерпретация

Система показателей тесноты многофакторной связи

Методы оценки степени надежности многофакторной регрессии

Корреляционно-регрессивные модели и их применение в анализе и прогнозе социально-экономических явлений.

Измерение связи неколичественных признаков. Фиктивные переменные

Предпосылки метода наименьших квадратов при нахождении параметров уравнения множественной регрессии

Проблема выбора факторов для множественной регрессии

В реальной жизни, социальных и экономических системах на результативный признак всегда влияет множество факторных признаков. Кроме того, ввиду математических свойств МНК в уравнение регрессии нельзя включать число факторов ≥ (n — 1), где n число наблюдений. А для надлежащих оценок параметров число фактов должно быть в 5 – 6 раз меньше числа наблюдений. Т.к. между самими факторами существует связь, то парная корреляция и регрессия измеряют не чистое влияние каждого фактора, но и часть влияния других факторов, не включенных в модель, но связанных с данными.

Парная регрессия может дать хороший результат, если влиянием других факторов, не включенных в модель, можно пренебречь. Однако исследователь никогда не может быть уверен в справедливости данного предположения. Поэтому, как правило, в эконометрических исследованиях для более полной и точной оценки применяется модель множественной регрессии

Методы отбора факторов для уравнения множественной регрессии

Множественная регрессия используется для решения проблем спроса, доходности акций при изучении функций издержек. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также их совокупное влияние на моделируемый показатель. Построение модели начинают с решения вопроса о спецификации модели. Во множественной регрессии спецификация модели включает в себя решение двух вопросов:

1. отбор факторов

2. выбор вида уравнения.

Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими жизненными явлениями.

Факторы включенные в модель должны отвечать следующим требованиям:

1. должны быть количественно измеримы; если необходимо включать качественный фактор, то ему необходимо придать количественное определение.

2. не должны быть интеркоррелированны (т.е. факторные признаки не должны находится в тесной зависимости между собой) и находится в точной функциональной связи. При включении в модель факторов с высокой интеркорреляцией ( Методы отбора факторов для уравнения множественной регрессии) для множественной регрессии может привести к нежелательным последствиям, т.е. система норм уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если существует высокая корреляция между факторами, то нельзя установить их изолированное влияние на результативный показатель, и параметры уравнения регрессии окажутся не интерпретируемыми.

Факторы множественной регрессии должны объяснять вариацию зависимой переменной. Если строится модель с набором факторов P, то для нее рассчитывается показатель множественной детерминации R 2 , который фиксирует долю объяснений вариации результативного признака за счет рассмотрения в регрессии P — факторов. Влияние неучтенных факторов оценивается как 1 – R 2 с соответствующей остаточной дисперсией.

При дополнительном включении в регрессию (P+1) – го фактора R 2 должен возрастать, Docm уменьшаться. Если этого не происходит и данные показатели мало отличаются друг от друга, то включенный в анализ (P+1) – фактор не улучшает модель и является практически лишним фактором.

Пример. Допустим, для множественной регрессии, включающей 5 факторов, R 2 = 0,85, а при включении 6-го фактора ® R 2 = 0,786. Значит включение 6-го фактора нецелесообразно.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии, но и приводит к статической незначимости параметров регрессии по t – критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, но практически – в этом нет необходимости.

Отбор факторов производится на основе качественного теоретико-жизненного анализа и проходит в 2 стадии:

1. подбираются факторы, исходя из сущности проблемы,

2. на основе матрицы показателей корреляции определяют t–статистики для параметров регрессии. Коэффициенты интеркорреляции (т.е. корреляции между факторными признаками) позволяют исключить из модели факторы, дублирующие друг друга.

Считается, что 2 переменные являются коллинеарными, т.е. находятся между собой в линейной зависимости, если коэффициент

Методы отбора факторов для уравнения множественной регрессии

Поскольку одним из условий построения уравнения множественной регрессии является независимость действия факторов (в идеале коэффициент Методы отбора факторов для уравнения множественной регрессии), то коллинеарность факторов нарушает это условие.

Если факторы явно коллинеарны, то они дублируют друг друга и один из них необходимо исключить из модели.

Правило: предпочтение отдается не фактору, который более тесно связан с результатом, а тому фактору, который при достаточной связи с результатом имеет номинальную тесноту связи с другими факторами.

Пример. Изучается зависимость между Методы отбора факторов для уравнения множественной регрессии

Построим матрицу парных коэффициентов корреляции

yxzV
y
x0,9
z0,80,9
v0,70,60,3

Методы отбора факторов для уравнения множественной регрессии

Факторы X и Z явно коллинеарны, т.е. дублируют друг друга

В модели оставляем фактор Z, т.к. несмотря на то, что коэффициенты парной корреляции

Методы отбора факторов для уравнения множественной регрессии, но зато связь Z с другим фактором слабее:

Методы отбора факторов для уравнения множественной регрессии

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем 2 фактора связаны между собой линейной зависимостью, т.е. наблюдается совокупность воздействия факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценивать влияние каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка параметров с помощью МНК.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

1. затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов «в чистом» виде, т.к. факторы интерколлинеарны. Параметры линейной регрессии теряют жизненный смысл.

2. оценки параметров ненадежны, обнаруживаются большие стандартные ошибки и меняют с изменением объема наблюдений не только по величине, но и по знаку, что делает модель непригодной для анализа и прогноза.

2. Способы линеаризации связей фактора с результативным признаком

Для оценки параметров нелинейных уравнений используют 2 подхода:

1. основан на линеаризации модели и заключается в том, что с помощью подходящих преобразований исходных переменный исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.

2. обычно применяют в случае, когда подобрать соответствующее линеаризационное преобразование невозможно. В этом случае применяют методы нелинейной оптимизации на основе исходных переменных.

По аналогии с парной корреляцией.

3. Уравнение многофакторной регрессии, его построение и интерпретация

Как и в парной зависимости возможны различные виды множественной регрессии: линейные и нелинейные. В виду четной интерпретации параметров наиболее широко используются линейная и степенные функции.

В уравнении множественной регрессии:

Методы отбора факторов для уравнения множественной регрессии

Коэффициенты при х называются коэффициентами «чистой» регрессии. Они показывают среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

Параметр а не подлежит экономической интерпретации.

Параметры уравнения множественной регрессии оцениваются как в парной регрессии МНК, при котором строится система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии.

Т. о. для уравнения

Методы отбора факторов для уравнения множественной регрессии

Система нормальных уравнений будет иметь следующий вид:

Методы отбора факторов для уравнения множественной регрессии

Ее решение может быть осуществлено методом определителей

Методы отбора факторов для уравнения множественной регрессии

Где Δа, Δb – частные определители системы, при этом

Методы отбора факторов для уравнения множественной регрессии

Δа, Δb, … , Δbр получаются путем замены соответствующего столбца матрицы общего определителя данной системы данными левой части системы.

у – отношение прибыли ко всем активам банка, %

х1 – Доля ГКО в активах, %

х2 – отношение непроцентных доходов к процентным доходам деятельности банка, %

х3 – коэффициент полной ликвидности банка

Построить множественную модель

Таблица 1. Исходные данные и расчетные величины для анализа.

№ банку,%х1,%х2,%х3,% Методы отбора факторов для уравнения множественной регрессии Методы отбора факторов для уравнения множественной регрессии Методы отбора факторов для уравнения множественной регрессии
13,524,02,51,278,15,429,16
25,551,04,51,9720,15,429,16
1,210,42,52,157,8-6,643,56
1,314,11,61,274,8-3,512,25
4,54,70,31,341,92,66,76
2,715,80,50,973,8-1,11,21
12,229,20,51,159,42,87,84
4,231,06,61,0710,1-5,934,81
4,413,51,01,083,70,70,49
2,82,20,61,361,30,80,64
7,550,32,11,1115,7-8,267,24
14,428,37,21,189,74,722,09
11,430,41,21,109,22,24,84
S10,49304,931,11,7,02105,6х260,05
ср8,123,52,391,31

1. Рассчитать по всем показателям среднее значение ( и V. Результат занесем в таблицу 2.

Таблица 2. Характеристики ряда распределения

ФакторыСреднее значениеСреднее квадратное отклонениеКоэффициент вариации
х123,514,830,632
х22,392,220,929
х31,310,340,261
у8,16,800,843

Получим, что х1, х2, и у совокупность неоднородно, следовательно, должны исключить аномальные наблюдения

Не исключаем, т.к. важна методика .

2. Рассчитаем уравнение парной регрессии между результатом и каждым из факторных признаков.

Установим коэффициенты парной корреляции и детерминации (они характеризуют изолированное влияние каждого фактора на результат, т.к. другие факторы применяются на неизменном уровне).

Парные уравнения регрессии

Методы отбора факторов для уравнения множественной регрессии

Уравнение регрессии позволяет сделать вывод, что с увеличением доли ГКО в активах на 1% пункт, доля прибыли по всем активам увеличивается в среднем на 0,329 % пунктов.

ryx1 = 0,718 – связь прямая и достаточно сильная

r 2 yx1 = 0,516 – при условии др. не считается

2) Методы отбора факторов для уравнения множественной регрессии

с увеличением отношения непроцентных доходов к процентным доходам на 1% пунктов, доля прибыли по всем активам увеличивается в среднем на 1,215%

3) Методы отбора факторов для уравнения множественной регрессии

ryx3 = 0,241 – связь непрямая и слабая

С увеличением коэффициента полной ликвидности банка на 1 % доля прибыли по всем активам увеличивается в среднем на 4,788%

Вариация х3 объясняет вариацию у на 5,8 %

3. Построим матрицу парных коэффициентов вариации для выявления явно коллинеарных факторов.

Таблица 3. Матрица парных коэффициентов корреляции.

Признакиух1х2х3
у
х10,718
х20,5160,462
х30,2410,00530,134

Явно коллинеарных факторов нет, т.к. коэффициенты парной корреляции между факторными признаками не превышают 0,7.

Способы определения коэффициентов условно чистой регрессии.

Для определения данных коэффициентов рассчитаем определители

Методы отбора факторов для уравнения множественной регрессии

i – номер наблюдения,

j – номер фактора.

Результаты занесем в вспомогательную таблицу.

Таблица 4. Расчет многофакторной регрессии.

№ банк123D 2 х1D 2 х2D 2 х3D 2 уDуDх1DуDх2DуDх3121323
0,5-0,04
27,50,66
-13,10,84
-9,4-0,04
-18,10,03
-7,7-0,34
5,7-0,16
7,5-0,24
-10,0-0,23
-21,30,05
-26,9-0,20
4,8-0,13
6,9-0,23
å64,111,5277,927,277197,820,551,320

Методы отбора факторов для уравнения множественной регрессии

Для определения коэффициентов условно чистой регрессии рассчитаем систему нормальных уравнений

Методы отбора факторов для уравнения множественной регрессии

Из вспомогательной таблицы № 4 подставляем необходимые данные

Методы отбора факторов для уравнения множественной регрессии

Уравнение многофакторной регрессии примет вид

Методы отбора факторов для уравнения множественной регрессии

Подставляя в данное уравнение значение факторов х1, х2, х3 получим теоретическое значение результативного признака.

Методы отбора факторов для уравнения множественной регрессии

Т.о. в отличии от коэффициентов парной регрессии, коэффициенты условно чистой регрессии измеряют влияние фактора, абстрагируясь от связей вариации этого фактора с вариациями другого фактора, включенных в модель.

Методы отбора факторов для уравнения множественной регрессии

Коэффициенты условно чистой регрессии, т.е. bj являются именованными числами, выраженными в различных единицах измерения, в тех же единицах, что и соответствующие им факторы. Поэтому они не сравнимы друг с другом, т.е. по их величине нельзя сделать вывод, какой из факторов в наибольшей степени влияет на результат. Для приведения их в сравнимый вид применяется то же преобразование, что и для получения парных коэффициентов. Полученную величину называют стандартизированным коэффициентом регрессии.

🎬 Видео

09 02 Основы множественной регрессииСкачать

09 02 Основы множественной регрессии

Эконометрика. Оценка значимости уравнения регрессии. Критерий ФишераСкачать

Эконометрика. Оценка значимости уравнения регрессии. Критерий Фишера

Эконометрика. Линейная парная регрессияСкачать

Эконометрика. Линейная парная регрессия

Множественная регрессияСкачать

Множественная регрессия

Эконометрика. Множественная регрессия и корреляция.Скачать

Эконометрика. Множественная регрессия и корреляция.

Множественная степенная регрессияСкачать

Множественная степенная регрессия

Корреляционно-регрессионный анализ многомерных данных в ExcelСкачать

Корреляционно-регрессионный анализ многомерных данных в Excel

Построение модели множественной регрессии в программе GretlСкачать

Построение модели множественной регрессии в программе Gretl

Множественная регрессия в MS Excel. Быстрое решение. И подробное решение. Калькулятор!Скачать

Множественная регрессия в MS Excel. Быстрое решение. И подробное решение. Калькулятор!

Выбор факторов, влияющих на результативный показательСкачать

Выбор факторов, влияющих на результативный показатель

Эконометрика. Оценка значимости параметров уравнения регрессии. Критерий Стьюдента.Скачать

Эконометрика. Оценка значимости параметров уравнения регрессии. Критерий Стьюдента.

EViews. Урок 1. Построение модели множественной регрессии.Скачать

EViews. Урок 1. Построение модели множественной регрессии.

Парная регрессия: линейная зависимостьСкачать

Парная регрессия: линейная зависимость

Интерпретация коэффициента при логарифмировании в уравнениях регрессииСкачать

Интерпретация коэффициента при логарифмировании в уравнениях регрессии

Эконометрика Линейная регрессия и корреляцияСкачать

Эконометрика  Линейная регрессия и корреляция

Множественная линейная регрессия в SPSSСкачать

Множественная линейная регрессия в SPSS

Множественный регрессионный анализСкачать

Множественный регрессионный анализ
Поделиться или сохранить к себе: