Какие статистические тесты позволяют проверить значимость уравнения регрессии в целом

Какие статистические тесты позволяют проверить значимость уравнения регрессии в целом

158. На основании каких показателей можно судить о качестве регрессионной модели в целом?

При проверке качества модели в первую очередь стоит обращать внимание на то, соответствует ли она логике экономического процесса, т.е. мы должны смотреть, реалистичны ли знаки коэффициентов перед независимыми переменными и реалистична ли их величина.

Традиционно качество регрессии оценивается с помощью: , t-статистики и F-статистики.

Далее – подробный ответ. В принципе, не нужен – как и говорил Черняк. Однако может пригодиться в подготовке, решайте сами. «Ненужное» выделил серым.

R 2 (коэффициент детерминации):

Коэффициент детерминации показывает объясняющую способность регрессии.

-расчётное (оно же теоретическое и предсказанное) значение

Чем выше , тем больше построенная нами линия регрессии соответствует всем наблюдениям. Поэтому если мы хотим по регрессии строить предсказания (т.е. подставлять значения независимых переменных и получать точную, правдивую оценку зависимой), нам необходим высокий .

t-статистика:

t-статистика соизмеряет значение коэффициента с его стандартной ошибкой. Фактически же мы проверяем гипотезу о том, равен нулю коэффициент при рассматриваемой переменной или нет. Т.е:

Ho: коэффициент=0. Если эта гипотеза верна, то коэффициент не значим.

Ha: коэффициент не равен 0. Если эта гипотеза верна, то коэффициент значим.

Выяснить, отвергается нулевая гипотеза или нет, можно 2 способами:

1. Метод критических значений (по таблицам) :

a) Находим фактическое значение t (Черняк не говорил формулу, так что она м.б. и не нужна):

SE – стандартная ошибка коэффициента.

b) Определяем число степеней свободы

n – число наблюдений

k – число оцененных параметров

c) Выбираем уровень значимости (т.е. вероятность ошибки): 1% или 5%.

d) Находим критическое значение по таблице:

в таблице выбираем клетку в строке, соответствующей числу степеней свободы и в столбце, соответствующем выбранному уровню значимости.

e) Сравниваем фактическое значение с табличным:

Если t > t , то коэффициент значим на выбранном уровне значимости (лучше сначала на 1% проверить). Т.е. нулевая гипотеза отвергается.

Если t Метод «p-value» («метод значения вероятности»). Используется при работе в E Views :

p-value = Prob – вероятность того, что случайно (по другой выборке, другим исследователем) будет получен результат лучше, чем у нас (тот, что рассчитан).

a) Сравниваем значение Prob из EViews с 1% (т.е. с 0.01).

b) Если Prob. 0.01, тогда проверяем его значимость на 5% (сравниваем с 0.05)

F-статистика:

F-статистика представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы).

Фактически проверяем гипотезу:

Но: все коэффициенты при независимых переменных равны нулю ( )

На: хотя бы один из них нулю не равен.

Выяснить, отвергается нулевая гипотеза или нет, можно 2 способами:

a) Рассчитываем фактическое по формуле:

k — число объясняющих переменных.

b) Находим табличное:

• Выбираем уровень значимости α (1% или 5%)
• Вычисляем число степеней свободы: 1 и (n-2).
• По таблицам F-распределения Фишера определяем критическое значение Fα, 1, n-2 (всегда одностороннее)

c) Если Fстатистика(фактическое) > Fα , 1, n-2, то уравнение в целом является значимым при выбранном уровне значимости α .

d) В противном случае уравнение в целом незначимо (на данном уровне α ).

Точно так же, как в случае с t-статистикой, сравниваем с Prob.

159. Для чего используется F-критерий при оценке качества уравнения множественной регрессии?

F-статистика используется для анализа дисперсии. После получения F-статистики можно провести F-тест, который определит, действительно ли объясненная сумма квадратов больше той, которая может иметь место случайно. Для этого ищем критическое значение F в таблице Фишера с (k; n-k-1) степенями свободы и сравниваем с F-статистикой. Если расчетное значение больше, чем критическое, то уравнение в целом значимо на том уровне, на котором вы смотрели в таблице.

160. Как рассчитать значение F-критерия для множественной регрессии, исходя из знания сумм квадратов остатков?

При использовании регрессионого анализа для деления дисперсии зависимой переменной

на «объясненную» и «необъясненную» составляющие, можно построить

где ESS— объясненная сумма квадратов отклонений;

RSS— остаточная (необъясненная) сумма квадратов;

к — число степеней свободы, использованное на объяснение.

С помощью этой статистики можно выполнить F-тест для определения того, действительно ли объясненная сумма квадратов больше той, которая может иметь место случайно. Для этого нужно найти критический уровень F в колонке, соответствующей к степеням свободы, и в ряду, соответствующем (п-к-1) степеням свободы, в той или иной части табл. А.З. Чаще всего F-тест используется для оценки того, значимо ли объяснение, даваемое уравнением в целом. Кроме того, с помощью F-статистик можно выполнить

ряд дополнительных тестов (Доугерти, стр. 160).

161. Как рассчитать значение F-критерия для множественной регрессии, исходя из знания коэффициента детерминации R 2 ?

162. Какова особенность расчета числа степеней свободы для F-критерия в множественной регрессии?

В данном случае учитываются две степени свободы v₁ и v₂.

k – число объясняющих переменных (без константы)

Fкрит = (уровень значимости; v₁; v₂)

163. Каков вид F-распределения? Почему обычно используются только односторонние F-критерии?

Обычно используется односторонние критерии, так как это позволяет спасти значимость коэффициентов регрессии при том же уровне значимости.

Функция плотности вероятности F-распределения для степеней свободы a и b приведена на графике справа.

В эконометрике количество наблюдений всегда превышает одно, следовательно, график плотности вероятности распределения Фишера имеет вид, как на рисунке обозначено зеленым и фиолетовым.

Односторонний критерий имеет более высокую мощность, чем двухсторонний критерий — при той же вероятности ошибочного отклонения нулевой гипотезы. Это говорит о предпочтительности одностороннего критерия по сравнению с двухсторонним.

164. Каков содержательный смысл отношения Фишера в определении F-критерия?

F-статистика представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы), где k — число объясняющих переменных. Улучшение уравнение может происходить за счет добавления переменных, поэтому сумма квадратов остатков – эталонное значение – распределяется по количеству переменных, и сравниваются значения суммы квадратов остатков, объясненных регрессией и остаточных.

165. Каковы общие принципы выбора уровня значимости при использовании F-критерия для оценки качества уравнения в целом?

С одной стороны, большой уровень значимости дает большую уверенность в том, что альтернативная гипотеза значима. Но при этом возрастает риск не отвергнуть ложную нулевую гипотезу (ошибка второго рода). Таким образом, выбор уровня значимости требует компромисса между значимостью и риском ошибки и, следовательно, между вероятностями ошибок первого и второго рода. Обычно гипотезы проверяются на уровне значимости 1% или 5% (тоже самое, что и для уровня значимости при оценки коэффициентов).

166. Для чего используются t-тесты для коэффициентов регрессии и какова интерпретация их результатов?

t-тесты обеспечивают проверку значимости предельного вклада каждой переменной при допущении, что все остальные переменные уже включены в модель.

t-тесты нужны для того, чтобы отвергнуть или не отвергнуть гипотезу о равенстве коэффициента перед переменной нулю. Если мы отвергаем гипотезу, значит, коэффициент значим. Условие того, что оценка регрессии приводит к отказу от нулевой теории H₀: β₂= β₂ 0 (β₂ 0 принимается равным 0), следующее:

Между критическими значениями, при любом заданном уровне значимости:

F-крит. = t 2 -крит. (при двустороннем тесте).

168. Как проверить гипотезу о значимости коэффициента детерминации? В чем смысл такого теста?

F-тест. Это нужно для проверки значимости уравнения в целом.

Иногда, даже если R 2 и коэффициент корреляции в точности равны 0, это не значит, что зависимость отсутствует. Зависимость может и присутствовать. Возможно она слабая, но есть. F-тест помогает узнать действительно ли полученное для регрессии значение R 2 или нет (отражает существует ли истинная зависимость или нет).

F-тест основан на анализе дисперсии. Дисперсию зависимой переменной можно разложить на «объясненную» и «необъясненную» составляющие дисперсии, используя уравнение:

Левая часть является общей суммой квадратов (TSS) отклонений зависимой переменной от ее выборочного среднего значения. Первый член в правой части является объясненной суммой квадратов (ESS), а второй член – необъясненной (остаточной) суммой квадратов (RSS):

F-статистика для проверки общего качества регрессии записывается как отношение объясненной суммы квадратов в расчете на одну независимую переменную, деление на остаточную сумму квадратов в расчете на одну степень свободы:

Где k – число оцениваемых параметров в уравнении регрессии (k-1 – коэффициенты наклона).

После преобразования получаем:

После вычисления F-критерия по значению R 2 вы отыскиваете величину F_крит – критический уровень F в соответствующей таблице.

Если F > F_крит, то нулевая гипотеза отклоняется и вывод: имеющееся объяснение поведения величины Y лучше, чем можно было получить чисто случайно. В каждом случае критический уровень зависит от числа независимых переменных (k-1), которое находится в верхней строке таблицы, и от числа степеней свободы (n-k), которое находится в крайнем левом ее столбце.

На практике F-статистика всегда вычисляется вместе с величиной R 2 . Может возникнуть вопрос, почему нет таблиц значений R 2 ? Ответ: таблица значений F-критерия является полезной для многих видов проверки дисперсии, одним из которых является расчет коэффициента R 2 .

Более подробно смотрите наш учебник Доугерти (с. 116).

169. Как формулируется нулевая гипотеза при использовании F-теста для оценки качества уравнения в целом?

Все коэффициенты наклона в уравнении одновременно равны нулю.

170. Почему суммы квадратов остатков, как правило, не сравнимы, а стандартные ошибки регрессии в определенных случаях сравнимы? В каких?

С RSS не сравнимы из-за разницы в масштабах линейной и логарифмической моделей.
Стандартные ошибки сравнимы относительно, через t-статистики – они везде работают (ответ Черняка).

171. Как делается тест на значимость коэффициента множественной регрессии?

Значимость коэффициентов множественной регрессии проверяется по t-критерию Стьюдента.

, расчетное значение t-статистики коэффициента bi

172. Можно ли считать модель верной, если модель в целом значима, и все ее коэффициенты значимы?

Нет, эконометрика ничего не проверяет, а только проверяет гипотезы с определённой ошибкой. Но такая ситуация – сильный аргумент в пользу верности.

173. Почему t-статистики нельзя использовать для анализа данных по всей изучаемой совокупности?

Потому что t-статистики могут быть использованы только для конкретной выборки.

174. Могут ли существовать несколько «одинаково хороших» множественных регрессий с одной и той же зависимой переменной и разным составом объясняющих переменных?

Если говорить о поверхностных различиях, то – да, например, такое часто наблюдается при замене одной переменной другой, сильно коррелированной с первоначальной. Для окончательного уточнения вида модели тогда придется проводить другие, более специфичные тесты. (например, доход зависит от многих переменных, которые «подменяют» друг друга и сложно оценить вклад каждой)

Проверка значимости регрессии с помощью дисперсионного анализа (F-тест)

history 26 января 2019 г.

Группы статей
• Статистический анализ

Проведем проверку значимости простой линейной регрессии с помощью процедуры F -тест.

Disclaimer : Данную статью не стоит рассматривать, как пересказ главы из учебника по статистике. Статья не обладает ни полнотой, ни строгостью изложения положений статистической науки. Эта статья – о применении MS EXCEL для целей Регрессионного анализа. Теоретические отступления приведены лишь из соображения логики изложения. Использование данной статьи для изучения Регрессии – плохая идея.

Проверку значимости взаимосвязи переменных в рамках модели простой линейной регрессии можно провести разными, но эквивалентными между собой, способами:

Проверку значимости взаимосвязи переменных в рамках модели простой линейной регрессии можно провести разными, но эквивалентными между собой, способами:

Процедуру F -теста рассмотрим на примере простой линейной регрессии , когда прогнозируемая переменная Y зависит только от одной переменной Х.

Чтобы определить может ли предложенная модель линейной регрессии быть использована для адекватного описания значений переменной Y, дисперсию наблюдаемых данных анализируют методом Дисперсионного анализа (ANOVA for Simple Regression) . Дисперсия данных разбивается на компоненты, которые затем используются в F -тесте для определения значимости регрессии.

F -тест для проверки значимости регрессии НЕ относится к простым и интуитивно понятным процедурам. Вероятно, это связано с тем, что для проведения F -теста требуется быть знакомым с определенным количеством статистических понятий и нужно неплохо разбираться в связанных с ними статистических методах. Нам потребуются понятия из следующих разделов статистики:

Можно, конечно, рассмотреть F -тест формально:

• вычислить на основании выборки значение тестовойFстатистики;
• сравнить полученное значение со значением, соответствующему заданному уровню значимости ;
• в зависимости от соотношения этих величин принять решение о значимости вычисленной линейной регрессии

В этой статье ставится более амбициозная задача – разобраться в самом подходе, на котором основан F -тест . Сначала введем несколько определений, которые используются в процедуре F -теста , затем рассмотрим саму процедуру.

Примечание : Для тех, кому некогда, незачем или просто не хочется разбираться в теоретических выкладках предлагается сразу перейти к вычислительной части .

Определения, необходимые для F -теста

Согласно определению дисперсии , дисперсия выборки прогнозируемой переменной Y определяется формулой:

В формуле используется ряд сокращений:

• SST (Total Sum of Squares) – это просто компактное обозначение Суммы Квадратов отклонений от среднего (такое сокращение часто используется в зарубежной литературе).
• MST (Total Mean Square) – Среднее Суммы Квадратов отклонений (еще одно общеупотребительное сокращение).

Примечание : Необходимо иметь в виду, что с одной стороны величины MST и SST являются случайными величинами, вычисленными на основании выборки, т.е. статистиками . Однако с другой стороны, при проведении регрессионного анализа по данным имеющейся выборки вычисляются их конкретные значения. В этом случае величины MST и SST являются просто числами.

Значение n-1 в вышеуказанной формуле равно числу степеней свободы ( DF ) , которое относится к дисперсии выборки (одна степень свободы у n величин yi потеряна в результате наличия ограничения , связывающего все значения выборки). Число степеней свободы у величины SST также имеет специальное обозначение: DFT (DF Total).

Как видно из формулы, отношение величин SST и DFT обозначается как MST. Эти 3 величины обычно выдаются в таблице результатов дисперсионного анализа в различных прикладных статистических программах (в том числе и в надстройке Пакет анализа, инструмент Регрессия ).

Значение SST, характеризующую общую изменчивость переменной Y, можно разбить на 2 компоненты:

• Изменчивость объясненную моделью (Explained variation), обозначается SSR

• Необъясненную изменчивость (Unexplained variation), обозначается SSЕ

Известно , что справедливо равенство:

Величинам SSR и SSE также сопоставлены степени свободы . У SSR одна степень свободы , т.к. она однозначно определяется одним параметром – наклоном линии регрессии a (напомним, что мы рассматриваем простую линейную регрессию ). Это очевидно из формулы:

Примечание: Очевидность наличия только одной степени свободы проистекает из факта, что переменная Х – контролируемая (не является случайной величиной).

Число степеней свободы величины SSR имеет специальное обозначение: DFR (для простой регрессии DFR=1, т.к. число независимых переменных Х равно 1) . По аналогии с MST, отношение этих величин также часто обозначают MSR = SSR / DFR .

У SSE число степеней свободы равно n -2 , которое обозначается как DFE (или DFRES — residual degrees of freedom). Двойка вычитается, т.к. изменчивость переменной yi имеет 2 ограничения, связанные с оценкой 2-х параметров линейной модели ( а и b ): ŷi=a*xi+b

Отношение этих величин также часто обозначают MSE = SSE / DFE .

MSR и MSE имеют размерность дисперсий, хотя корректней их называть средними значениями квадратов отклонений. Тем не менее, ниже мы их будем «дисперсиями», т.к. они отображают меру разброса: MSE – меру разброса точек наблюдений относительно линии регрессии, MSR показывает насколько линия регрессии совпадает с горизонтальной линией среднего значения Y.

Примечание : Напомним, что MSE (Mean Square of Errors) является оценкой дисперсии s 2 ошибки, подробнее см. статью про линейную регрессию , раздел Стандартная ошибка регрессии .

Число степеней свободы обладает свойством аддитивности: DFT = DFR + DFE . В этом можно убедиться, составив соответствующее равенство n -1=1+( n -2)

Наконец, определившись с определениями, переходим к рассмотрению самой процедуры F -тест .

Процедура F -теста

Сущность F -теста при проверке значимости регрессии заключается в том, чтобы сравнить 2 дисперсии : объясненную моделью (MSR) и необъясненную (MSE). Если эти дисперсии «примерно равны», то регрессия незначима (построенная модель не позволяет объяснить поведение прогнозируемой Y в зависимости от значений переменной Х). Если дисперсия, объясненная моделью (MSR) «существенно больше», чем необъясненная, то регрессия значимая .

Примечание : Чтобы быстрее разобраться с процедурой F -теста рекомендуется вспомнить процедуру проверки статистических гипотез о равенстве дисперсий 2-х нормальных распределений (т.е. двухвыборочный F-тест для дисперсий ).

Чтобы пояснить вышесказанное изобразим на диаграммах рассеяния 2 случая:

1. регрессия значима (в этом случае имеем значительный наклон прямой) и
2. регрессия незначима (линия регрессии близка к горизонтальной прямой).

На первой диаграмме показан случай, когда регрессия значима:

• Зеленым цветом выделены расстояния от среднего значения до линии регрессии , вычисленные для каждого хi. Сумма квадратов этих расстояний равна SSR;
• Красным цветом выделены расстояния от линии регрессии до соответствующих точек наблюдений . Сумма квадратов этих расстояний равна SSЕ.

Из диаграммы видно, что в случае значимой регрессии, сумма квадратов «зеленых» расстояний, гораздо больше суммы квадратов «красных». Понятно, что их отношение будет гораздо больше 1. Следовательно, и отношение дисперсий MSR и MSE будет гораздо больше 1 (не забываем, что SSE нужно разделить еще на соответствующее количество степеней свободы n-2).

В случае значимой регрессии точки наблюдений будут находиться вдоль линии регрессии. Их разброс вокруг этой линии описываются ошибками регрессии, которые были минимизированы посредством процедуры МНК . Очевидно, что разброс точек относительно линии регрессии значительно меньше, чем относительно горизонтальной линии, соответствующей среднему значению Y.

Совершенно другую картину мы можем наблюдать в случае незначимой регрессии.

Очевидно, что в этом случае, сумма квадратов «зеленых» расстояний, примерно соответствует сумме квадратов «красных». Это означает, что объясненная дисперсия примерно соответствует величине необъясненной дисперсии (MSR/MSE будет близко к 1).

Если ответ о значимости регрессии практически очевиден для 2-х вышеуказанных крайних ситуаций, то как сделать правильное заключение для промежуточных углов наклона линии регрессии?

Понятно, что если вычисленное на основании выборки значение MSR/MSE будет существенно больше некоторого критического значения, то регрессия значима, если нет, то не значима. Очевидно, что это значение должно быть больше 1, но как определить это критическое значение статистически обоснованным методом ?

Вспомним, что для формулирования статистического вывода (т.е. значима регрессия или нет) используют проверку гипотез . Для этого формулируют 2 гипотезы: нулевую Н ₀ и альтернативную Н ₁ . Для проверки значимости регрессии в качестве нулевой гипотезы Н ₀ принимают, что связи нет, т.е. наклон прямой a=0. В качестве альтернативной гипотезы Н ₁ принимают, что a 0.

Примечание : Даже если связи между переменными нет (a=0), то вычисленная на основании данных выборки оценка наклона — величина а , из-за случайности выборки будет близка, но все же отлична от 0.

По умолчанию принимается, что нулевая гипотеза верна – связи между переменными нет. Если это так, то:

• MSR/MSE будет близко к 1;
• Случайная величина F = MSR/MSE будет иметь F-распределениесо степенями свободы 1 (в числителе) и n-2 (знаменателе). F является тестовой статистикой для проверки значимости регрессии.

Примечание : MSR и MSE являются случайными величинами (т.к. они получены на основе случайной выборки). Соответственно, выражение F=MSR/MSE, также является случайной величиной, которая имеет свое распределение, среднее значение и дисперсию .

Ниже приведен график плотности вероятности F-распределения со степенями свободы 1 (в числителе) и 59 (знаменателе). 59=61-2, 61 наблюдение минус 2 степени свободы.

Если нулевая гипотеза верна, то значение F ₀ =MSR/MSE, вычисленное на основании выборки, должно быть около ее среднего значения (т.е. около 1,04). Если F ₀ будет существенно больше 1 (чем больше F0 отклоняется в сторону больших значений, тем это маловероятней), то это будет означать, что F не имеет F-распределение , а, следовательно, нулевую гипотезу нужно отклонить и принять альтернативную, утверждающую, что связь между переменными есть (значима).

Обычно предполагают, что если вероятность, того что F -статистика приняла значение F0 составляет менее 5%, то это событие маловероятно и нулевую гипотезу необходимо отклонить. 5% — это заданный исследователем уровень значимости , который может быть, например, 1% или 10%.

Значение статистики F0 может быть вычислено на основании выборки:

Вычисления в MS EXCEL

В MS EXCEL критическое значение для заданного уровня значимости F1-альфа, 1, n-2 можно вычислить по формуле = F.ОБР(1- альфа;1; n-2) или = F.ОБР.ПХ(альфа;1; n-2) . Другими словами требуется вычислить верхний альфа-квантиль F-распределения с соответствующими степенями свободы .

Таким образом, при значении статистики F0> F1-альфа, 1, n-2 мы имеем основание для отклонения нулевой гипотезы.

Значение F ₀ можно вычислить на основании значений выборки по вышеуказанной формуле или с помощью функции ЛИНЕЙН() :

В случае простой регрессии значение F0 также равно квадрату t-статистики, которую мы использовали при проверке двусторонней гипотезе о равенстве 0 коэффициента регрессии .

Проверку значимости регрессии можно также осуществить через вычисление p-значения. В этом случае вычисляют вероятность того, что случайная величина F примет значение F0 (это и есть p-значение), затем сравнивают p-значение с заданным уровнем значимости . Если p-значение больше уровня значимости, то нулевую гипотезу нет оснований отклонить, и регрессия незначима.

В MS EXCEL для проверки гипотезы используя p -значение используйте формулу = F.РАСП.ПХ(F0;1;n-2) файл примера , где показано эквивалентность всех подходов проверки значимости регрессии).

В программах статистики результаты процедуры F -теста выводят с помощью стандартной таблицы дисперсионного анализа . В файле примера такая таблица приведена на листе Таблица, которая построена на основе результатов, возвращаемых инструментом Регрессия надстройки Пакета анализа MS EXCEL .

Пример нахождения статистической значимости коэффициентов регрессии

Числитель в этой формуле может быть рассчитан через коэффициент детерминации и общую дисперсию признака-результата: .
Для параметра a критерий проверки гипотезы о незначимом отличии его от нуля имеет вид:
,
где — оценка параметра регрессии, полученная по наблюдаемым данным;
μ_a – стандартная ошибка параметра a.
Для линейного парного уравнения регрессии:
.
Для проверки гипотезы о незначимом отличии от нуля коэффициента линейной парной корреляции в генеральной совокупности используют следующий критерий:
, где r_yx — оценка коэффициента корреляции, полученная по наблюдаемым данным; m_r – стандартная ошибка коэффициента корреляции r_yx.
Для линейного парного уравнения регрессии:
.
В парной линейной регрессии между наблюдаемыми значениями критериев существует взаимосвязь: t _{( b =0)} = t _(r=0).

Пример №1 . Уравнение имеет вид y=ax+b
1. Параметры уравнения регрессии.
Средние значения

Коэффициент детерминации
R 2 = 0.73 2 = 0.54, т.е. в 54% случаев изменения х приводят к изменению y . Другими словами — точность подбора уравнения регрессии — средняя.

x	y	x 2	y 2	x ∙ y	y(x)	(y-y cp ) 2	(y-y(x)) 2	(x-x p ) 2
69	124	4761	15376	8556	128.48	491.36	20.11	367.36
83	133	6889	17689	11039	141.4	173.36	70.56	26.69
92	146	8464	21316	13432	149.7	0.03	13.71	14.69
97	153	9409	23409	14841	154.32	46.69	1.73	78.03
88	138	7744	19044	12144	146.01	66.69	64.21	0.03
93	159	8649	25281	14787	150.63	164.69	70.13	23.36
74	145	5476	21025	10730	133.1	1.36	141.68	200.69
79	152	6241	23104	12008	137.71	34.03	204.21	84.03
105	168	11025	28224	17640	161.7	476.69	39.74	283.36
99	154	9801	23716	15246	156.16	61.36	4.67	117.36
85	127	7225	16129	10795	143.25	367.36	263.91	10.03
94	155	8836	24025	14570	151.55	78.03	11.91	34.03
1058	1754	94520	258338	155788	1754	1961.67	906.57	1239.67

2. Оценка параметров уравнения регрессии
Значимость коэффициента корреляции

По таблице Стьюдента находим Tтабл
T_табл (n-m-1;a) = (10;0.05) = 1.812
Поскольку Tнабл > Tтабл , то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициента корреляции статистически — значим.

Анализ точности определения оценок коэффициентов регрессии

S _a = 0.2704
Доверительные интервалы для зависимой переменной

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X = 88,16
(128.06;163.97)
Проверка гипотез относительно коэффициентов линейного уравнения регрессии
1) t-статистика

Статистическая значимость коэффициента регрессии a подтверждается (3.41>1.812).

Статистическая значимость коэффициента регрессии b подтверждается (2.7>1.812).
Доверительный интервал для коэффициентов уравнения регрессии
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими (t_табл=1.812):
(a — t_табл·S _a; a + t_табл·S_a)
(0.4325;1.4126)
(b — t_табл·S _b; b + t_табл·S_b)
(21.3389;108.3164)
2) F-статистики

Fkp = 4.96
Поскольку F > Fkp, то коэффициент детерминации статистически значим.

Пример №2 . По территориям региона приводятся данные за 199Х г.;

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, руб., х	Среднедневная заработная плата, руб., у
1	78	133
2	82	148
3	87	134
4	79	154
5	89	162
6	106	195
7	67	139
8	88	158
9	73	152
10	87	162
11	76	159
12	115	173

Требуется:
1. Построить линейное уравнение парной регрессии у от х.
2. Рассчитать линейный коэффициент парной корреляции и среднюю ошибку аппроксимации.
3. Оценить статистическую значимость параметров регрессии и корреляции.
4. Выполнить прогноз заработной платы у при прогнозном значении среднедушевого прожиточного минимума х , составляющем 107% от среднего уровня.
5. Оценить точность прогноза, рассчитав ошибку прогноза и его доверительный интервал.

Решение находим с помощью калькулятора.
Использование графического метода .
Этот метод применяют для наглядного изображения формы связи между изучаемыми экономическими показателями. Для этого в прямоугольной системе координат строят график, по оси ординат откладывают индивидуальные значения результативного признака Y, а по оси абсцисс — индивидуальные значения факторного признака X.
Совокупность точек результативного и факторного признаков называется полем корреляции.
На основании поля корреляции можно выдвинуть гипотезу (для генеральной совокупности) о том, что связь между всеми возможными значениями X и Y носит линейный характер.
Линейное уравнение регрессии имеет вид y = bx + a + ε
Здесь ε — случайная ошибка (отклонение, возмущение).
Причины существования случайной ошибки:
1. Невключение в регрессионную модель значимых объясняющих переменных;
2. Агрегирование переменных. Например, функция суммарного потребления – это попытка общего выражения совокупности решений отдельных индивидов о расходах. Это лишь аппроксимация отдельных соотношений, которые имеют разные параметры.
3. Неправильное описание структуры модели;
4. Неправильная функциональная спецификация;
5. Ошибки измерения.
Так как отклонения ε_i для каждого конкретного наблюдения i – случайны и их значения в выборке неизвестны, то:
1) по наблюдениям x_i и y_i можно получить только оценки параметров α и β
2) Оценками параметров α и β регрессионной модели являются соответственно величины а и b, которые носят случайный характер, т.к. соответствуют случайной выборке;
Тогда оценочное уравнение регрессии (построенное по выборочным данным) будет иметь вид y = bx + a + ε, где e_i – наблюдаемые значения (оценки) ошибок ε_i, а и b соответственно оценки параметров α и β регрессионной модели, которые следует найти.
Для оценки параметров α и β — используют МНК (метод наименьших квадратов).
Система нормальных уравнений.
Для наших данных система уравнений имеет вид
12a+1027b=1869
1027a+89907b=161808
Из первого уравнения выражаем а и подставим во второе уравнение. Получаем b = 0.92, a = 76.98
Уравнение регрессии: y = 0.92 x + 76.98

1. Параметры уравнения регрессии.
Выборочные средние.

Коэффициент корреляции
Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

Линейный коэффициент корреляции принимает значения от –1 до +1.
Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:
0.1 0 – прямая связь, иначе — обратная). В нашем примере связь прямая.
Коэффициент эластичности.
Коэффициенты регрессии (в примере b) нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака х.
Для этих целей вычисляются коэффициенты эластичности и бета — коэффициенты. Коэффициент эластичности находится по формуле:

Он показывает, на сколько процентов в среднем изменяется результативный признак у при изменении факторного признака х на 1%. Он не учитывает степень колеблемости факторов.
Коэффициент эластичности меньше 1. Следовательно, при изменении среднедушевого прожиточного минимума в день на 1%, среднедневная заработная плата изменится менее чем на 1%. Другими словами — влияние среднедушевого прожиточного минимума Х на среднедневную заработную плату Y не существенно.
Бета – коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

Т.е. увеличение x на величину среднеквадратического отклонения этого показателя приведет к увеличению средней среднедневной заработной платы Y на 0.721 среднеквадратичного отклонения этого показателя.
1.4. Ошибка аппроксимации.
Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации.

Поскольку ошибка меньше 15%, то данное уравнение можно использовать в качестве регрессии.
Коэффициент детерминации.
Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.
R 2 = 0.72 2 = 0.5199, т.е. в 51.99 % случаев изменения среднедушевого прожиточного минимума х приводят к изменению среднедневной заработной платы y. Другими словами — точность подбора уравнения регрессии — средняя. Остальные 48.01% изменения среднедневной заработной платы Y объясняются факторами, не учтенными в модели.

x	y	x 2	y 2	x·y	y(x)	(y i — y ) 2	(y-y(x)) 2	(x i — x ) 2	|y-y x |:y
78	133	6084	17689	10374	148,77	517,56	248,7	57,51	0,1186
82	148	6724	21904	12136	152,45	60,06	19,82	12,84	0,0301
87	134	7569	17956	11658	157,05	473,06	531,48	2,01	0,172
79	154	6241	23716	12166	149,69	3,06	18,57	43,34	0,028
89	162	7921	26244	14418	158,89	39,06	9,64	11,67	0,0192
106	195	11236	38025	20670	174,54	1540,56	418,52	416,84	0,1049
67	139	4489	19321	9313	138,65	280,56	0,1258	345,34	0,0026
88	158	7744	24964	13904	157,97	5,06	0,0007	5,84	0,0002
73	152	5329	23104	11096	144,17	14,06	61,34	158,34	0,0515
87	162	7569	26244	14094	157,05	39,06	24,46	2,01	0,0305
76	159	5776	25281	12084	146,93	10,56	145,7	91,84	0,0759
115	173	13225	29929	19895	182,83	297,56	96,55	865,34	0,0568
1027	1869	89907	294377	161808	1869	3280,25	1574,92	2012,92	0,6902

2. Оценка параметров уравнения регрессии.
2.1. Значимость коэффициента корреляции.

По таблице Стьюдента с уровнем значимости α=0.05 и степенями свободы k=10 находим t_крит:
t_крит = (10;0.05) = 1.812
где m = 1 — количество объясняющих переменных.
Если t_набл > t_критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).
Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значим.
В парной линейной регрессии t 2 _r = t 2 _b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

2.3. Анализ точности определения оценок коэффициентов регрессии.
Несмещенной оценкой дисперсии возмущений является величина:

S 2 _y = 157.4922 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

12.5496 — стандартная ошибка оценки (стандартная ошибка регрессии).
S _a — стандартное отклонение случайной величины a.

S_b — стандартное отклонение случайной величины b.

2.4. Доверительные интервалы для зависимой переменной.
Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя.
(a + bx_p ± ε)
где
Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X _p = 94

(76.98 + 0.92*94 ± 7.8288)
(155.67;171.33)
С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
1) t-статистика. Критерий Стьюдента.
Проверим гипотезу H₀ о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H₁ не равно) на уровне значимости α=0.05.
t_крит = (10;0.05) = 1.812

Поскольку 3.2906 > 1.812, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 3.1793 > 1.812, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(b — t_крит S_b; b + t_крит S_b)
(0.9204 — 1.812·0.2797; 0.9204 + 1.812·0.2797)
(0.4136;1.4273)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
(a-t_a)
(76.9765 — 1.812·24.2116; 76.9765 + 1.812·24.2116)
(33.1051;120.8478)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
2) F-статистики. Критерий Фишера.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с k1=(m) и k2=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H₀: R 2 =0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:

где m=1 для парной регрессии.
3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 1 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=1 и k2=10, Fkp = 4.96
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (Найденная оценка уравнения регрессии статистически надежна).

📹 Видео