Оценка параметра a парного линейного уравнения регрессии вида y a bx u определяется по выражению

Видео:Эконометрика. Оценка значимости уравнения регрессии. Критерий ФишераСкачать

Уравнение регрессии

Вместе с этим калькулятором также используют следующие:
Уравнение множественной регрессии

В сервисе для нахождения параметров регрессии используется МНК. Система нормальных уравнений для линейной регрессии: . Также можно получить ответ, используя матричный метод. см. также Статистические функции в Excel

Уравнение парной регрессии относится к уравнению регрессии первого порядка. Если эконометрическая модель содержит только одну объясняющую переменную, то она имеет название парной регрессии. Уравнение регрессии второго порядка и уравнение регрессии третьего порядка относятся к нелинейным уравнениям регрессии.

Пример . Осуществите выбор зависимой (объясняемой) и объясняющей переменной для построения парной регрессионной модели. Дайте графическое изображение регрессионной зависимости. Определите теоретическое уравнение парной регрессии. Оцените адекватность построенной модели (интерпретируйте R-квадрат, показатели t-статистики, F-статистики).
Решение будем проводить на основе процесса эконометрического моделирования.
1-й этап (постановочный) – определение конечных целей моделирования, набора участвующих в модели факторов и показателей, их роли.
Спецификация модели — определение цели исследования и выбор экономических переменных модели.
Ситуационная (практическая) задача. По 10 предприятиям региона изучается зависимость выработки продукции на одного работника y (тыс. руб.) от удельного веса рабочих высокой квалификации в общей численности рабочих x (в %).
2-й этап (априорный) – предмодельный анализ экономической сущности изучаемого явления, формирование и формализация априорной информации и исходных допущений, в частности относящейся к природе и генезису исходных статистических данных и случайных остаточных составляющих в виде ряда гипотез.
Уже на этом этапе можно говорить о явной зависимости уровня квалификации рабочего и его выработкой, ведь чем опытней работник, тем выше его производительность. Но как эту зависимость оценить?
Парная регрессия представляет собой регрессию между двумя переменными – y и x , т. е. модель вида:

Видео:Эконометрика. Оценка значимости параметров уравнения регрессии. Критерий Стьюдента.Скачать

Оценка параметров линейной парной регрессии

Линейная парная регрессия описывается уравнением:

, (2.6)

согласно которому изменение Δy переменной y прямо пропорционально изменению Δx переменной x (Δy = b·Δx).

Для оценки параметров a и b уравнения регрессии (2.6) воспользуемся методом наименьших квадратов (МНК). При определенных предположениях относительно ошибки МНК дает наилучшие оценки параметров линейной модели

. (2.7)

Согласно МНК, выбираются такие значения параметров а и b, при которых сумма квадратов отклонений фактических значений результативного признака от теоретических значений (при тех же значениях фактора ) минимальна, т. е.

(2.8)

С учетом вида линейной парной регрессии (2.6) величина S является функцией неизвестных параметров а и b

. (2.9)

Следовательно, оптимальные значения параметров а и b удовлетворяют условиям

; . (2.10)

Выполняя соответствующие вычисления, получим для определения параметров а и b следующую систему уравнений

откуда после некоторых преобразований получается система нормальных уравнений метода наименьших квадратов

(2.11)

Используя соотношения , , , из (2.8) получим

(2.12)

Откуда следуют следующие выражения для определения параметров а и b

, . (2.13)

Формулу для параметра b можно представить следующим образом

(2.14)

Рассмотрим интерпретацию параметров уравнения линейной регрессии.

Коэффициент b при факторной переменной x показывает насколько изменится в среднем величина y при изменении фактора x на единицу. Например, допустим, что зависимость между затратами (тыс. руб.) и объемом выпуска продукции описывается соотношением

В этом случае увеличение объема выпуска на 1 единицу потребует дополнительных затрат на 580 рублей.

Что касается свободного члена a в уравнении (2.6), то в случае, когда переменная x представляет собой время, он показывает уровень явления в начальный момент времени. В других случаях, параметр a может не иметь экономической интерпретации.

Дата добавления: 2015-11-06 ; просмотров: 2035 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Видео:Парная регрессия: линейная зависимостьСкачать

Уравнение парной линейной регрессии

Если зависимость между результатом и фактором установлена, то ее целесообразно представить математической функцией y = f(x). При выборе типа функции (линейная или нелинейная) руководствуются характером расположения точек на поле корреляции, а также содержанием изучаемой связи, которая наилучшим образом соответствует исходным данным, иначе говоря, обеспечивает наилучшую аппроксимацию поля корреляции.

Когда влияние изменения фактора на результат постоянно, используют линейную функцию, в других случаях необходимо применять нелинейные функции.

Математическое описание зависимости в среднем изменений результативного признака у от фактора х называется уравнением парной регрессии.

Парная линейная регрессия имеет вид

где у_х — среднее значение результативного признака при определенном значении факторного признака х; а — свободный член уравнения регрессии; b — коэффициент регрессии.

Построение регрессионной модели включает следующие основные этапы:

• — определение цели исследования;
• — оценка однородности исходных данных;
• — выбор формы связи между результатом и отобранными факторами;
• — определение параметров модели;
• — оценка тесноты связи;
• — определение показателей эластичности;
• — проверка качества построенной модели.

Вернемся к рассматриваемому примеру 8.1 и построим уравнение парной линейной регрессии.

Вначале оценим однородность исходных данных, для чего рассчитаем коэффициент вариации (см. гл. 6):

Значение коэффициента вариации менее 30%, что говорит об однородности исходных данных, а следовательно, о возможности построения уравнения регрессии.

Найдем параметры а и b парной линейной регрессии у_х = а + Ьх.

Для этого используем метод наименьших квадратов (МНК). Исходное условие МНК:

Нужно подобрать такую прямую у_х = а + Ьх, которая отражает минимальность суммы квадратов отклонений фактических значений результативной переменной от ее теоретических значений, получаемых на основе уравнения регрессии.

Для этого воспользуемся системой нормальных уравнений МНК для прямой:

Решая эту систему, можно получить формулы для определения параметров а и Ъ:

отсюда

следовательно,

Используя расчетные данные табл. 8.2, получаем

Теперь можно записать уравнение парной регрессии:

Параметр а выполняет роль доводки до соотношения между средними признаками х и у, никакого экономического смысла в него не вкладывается. Параметр b (коэффициент регрессии) показывает, что в среднем с ростом накопленных за семестр баллов на одну единицу оценка растет на 0,069 балла.

Направление связи между признаками у и.г определяет знак коэффициента регрессии Ь. В нашем примере b > О, т.е. связь является прямой. Если b те — V т К,-

Когда единицы измерения исследуемых показателей различаются, для оценки влияния факторов па результативный признак вычисляют коэффициенты эластичности.

В нашем примере максимально возможное число баллов, которое можно получить на экзамене, равно 5, а максимально накопленное за семестр число баллов равно 100.

Средний коэффициент эластичности для парной линейной регрессии рассчитывается по формуле

Он показывает, па сколько процентов изменяется результативный признаку при изменении факторного признака на 1% от своего среднего значения.

В нашем примере

Это означает, что при увеличении накопленных за семестр баллов на 1% оценка за экзамен увеличивается примерно на 15%.

По уравнению у_х = -1,83 + 0,069# рассчитаем ожидаемые (теоретические) значения экзаменационной оценки для каждого студента (у_х ). Результаты представлены в табл. 8.3. Значения у. подтверждают, что найденная линия регрессии является наилучшей для аппроксимации исходных данных.

Отклонения фактических оценок от теоретических невелики. Для оценки этих отклонений рассчитывают ошибку аппроксимации. Средняя относительная ошибка аппроксимации определяется но формуле

Найдем ошибку аппроксимации для нашего примера. Для этого составим расчетную таблицу (табл. 8.3).

В нашем примере что говорит о хорошем качестве

уравнения регрессии, поскольку ошибка аппроксимации в пределах 6—10% свидетельствует о хорошем соответствии модели исходным данным.

В последней графе табл. 8.3 показаны квадраты отклонений фактических значений (у.) от расчетных (г/.).

Сумма является составляющей общей колеблемости г/,

которая в регрессионном анализе представлена следующим образом:

где — общая колеблемость; — остаточная колеблемость; ‘ — колеблемость у, объясненная уравнением регрессии.

Это разложение вариации зависимой переменной (формула (8.10)) лежит в основе оценки качества полученного уравнения регрессии: чем большая часть вариации у объясняется регрессией, тем лучше качество регрессии, т.е. правильно выбран тип функции для описания зависимости У = /(*), правильно выделена объясняющая переменная (признак-фактор) х.

Отношение объясненной вариации к общей вариации позволяет найти коэффициент детерминации

Этот коэффициент определяет степень детерминации регрессией вариации у.

Корень квадратный из коэффициента детерминации называется теоретическим корреляционным отношением, оно определяет тесноту связи между результативным и факторным признаками при линейной и нелинейной зависимости. Теоретическое корреляционное отношение изменяется от 0 до 1. Чем ближе его значение к 1, тем связь между признаками теснее.

В нашем примере

Отсюда , или 85%, что совпадает с ранее полученным

значением коэффициента детерминации.

В случае высокой детерминации (гр > 0,9) уравнение регрессии может использоваться для прогнозирования зависимой переменной. В этом случае можно предсказать ожидаемое значение у по уравнению регрессии на основе ожидаемого значения х.

В нашем примере уравнение регрессии позволяет определить ожидаемую экзаменационную оценку на основе суммы накопленных за семестр текущих баллов.

Выполнить регрессионный анализ, можно воспользовавшись ПК и пакетами прикладных программ Excel, EViews, Statgraphics, Statistica и т.д. Рассмотрим построение парной линейной регрессии с помощью Microsoft Office Excel 2007. Для этого надо произвести следующие действия.

• 1. Выбрать Данные —> Анализ данных —» Регрессия.
• 2. В диалоговом окне Регрессия сделать следующее:
  • — ввести в окне Редактирование Входной интервал Y диапазон зависимой переменной;
  • — ввести в окне Редактирование Входной интервал X диапазон факторной переменной;
  • — установить флажок Метки, если первая строка содержит название столбцов;
  • — установить флажок Константа-ноль, если в уравнении регрессии отсутствует свободный член а
  • — ввести в окне Редактирование Выходной интервал номер свободной ячейки на рабочем листе;
  • — нажать кнопку ОК.

В табл. 8.4 представлены результаты расчета с помощью Microsoft Office Excel:

• а) Регрессионная статистика’.
• — множественный R — коэффициент корреляции г_ху =0,92;

• — /^-квадрат — коэффициент детерминации г_ху =0,85;
• — наблюдения — число наблюдений п = 8;
• б) Дисперсионный анализ’.
• — столбец df— число степеней свободы.

Для строки Регрессия число степеней свободы определяется количеством параметров т в уравнении регрессии: df^ = т — 1.

В нашем примере два параметра: df^ = 2-1 = 1.

Регрессионный анализ: построение парной линейной регрессии с помощью Microsoft Office Excel 2007

Видео:Эконометрика. Линейная парная регрессияСкачать

Парная линейная регрессия. Задачи регрессионного анализа

Будут и задачи для самостоятельного решения, к которым можно посмотреть ответы.

Видео:Метод наименьших квадратов. Линейная аппроксимацияСкачать

Понятие линейной регрессии. Парная линейная регрессия

Линейная регрессия — выраженная в виде прямой зависимость среднего значения какой-либо величины от некоторой другой величины. В отличие от функциональной зависимости y = f(x) , когда каждому значению независимой переменной x соответствует одно определённое значение величины y, при линейной регрессии одному и тому же значению x могут соответствовать в зависимости от случая различные значения величины y.

Если в результате наблюдения установлено, что при каждом определённом значении x существует сколько-то (n) значений переменной y, то зависимость средних арифметических значений y от x и является регрессией в статистическом понимании.

Если установленная зависимость может быть записана в виде уравнения прямой

то эта регрессионная зависимость называется линейной регрессией.

О парной линейной регрессии говорят, когда установлена зависимость между двумя переменными величинами (x и y). Парная линейная регрессия называется также однофакторной линейной регрессией, так как один фактор (независимая переменная x) влияет на результирующую переменную (зависимую переменную y).

В уроке о корреляционной зависимости были разобраны примеры того, как цена на квартиры зависит от общей площади квартиры и от площади кухни (две различные независимые переменные) и о том, что результаты наблюдений расположены в некотором приближении к прямой, хотя и не на самой прямой. Если точки корреляционной диаграммы соединить ломанной линией, то будет получена линия эмпирической регрессии. А если эта линия будет выровнена в прямую, то полученная прямая будет прямой теоретической регрессии. На рисунке ниже она красного цвета (для увеличения рисунка щёлкнуть по нему левой кнопкой мыши).

По этой прямой теоретической регрессии может быть сделан прогноз или восстановление неизвестных значений зависимой переменной по заданным значениям независимой переменной.

В случае парной линейной регрессии для данных генеральной совокупности связь между независимой переменной (факториальным признаком) X и зависимой переменной (результативным признаком) Y описывает модель

,

— свободный член прямой парной линейной регрессии,

— коэффициент направления прямой парной линейной регрессии,

— случайная погрешность,

N — число элементов генеральной совокупности.

Уравнение парной линейной регрессии для генеральной совокупности можно построить, если доступны данные обо всех элементах генеральной совокупности. На практике данные всей генеральной совокупности недоступны, но доступны данные об элементах некоторой выборки.

Поэтому параметры генеральной совокупности оценивают при помощи соответствующих параметров соответствующей выборки: свободный член прямой парной линейной регрессии генеральной совокупности заменяют на свободный член прямой парной линейной регрессии выборки , а коэффициент направления прямой парной линейной регрессии генеральной совокупности — на коэффициент направления прямой парной линейной регрессии выборки .

В результате получаем уравнение парной линейной регрессии выборки

— оценка полученной с помощью модели линейной регрессии зависимой переменной Y,

— погрешность,

n — размер выборки.

Чтобы уравнение парной линейной регрессии было более похоже на привычное уравнение прямой, его часто также записывают в виде

.

Видео:Корреляция: коэффициенты Пирсона и Спирмена, линейная регрессияСкачать

Уравнение парной линейной регрессии и метод наименьших квадратов

Определение коэффициентов уравнения парной линейной регрессии

Если заранее известно, что зависимость между факториальным признаком x и результативным признаком y должна быть линейной, выражающейся в виде уравнения типа , задача сводится к нахождению по некоторой группе точек наилучшей прямой, называемой прямой парной линейной регрессии. Следует найти такие значения коэффициентов a и b , чтобы сумма квадратов отклонений была наименьшей:

.

Если через и обозначить средние значения признаков X и Y,то полученная с помощью метода наименьших квадратов функция регрессии удовлетворяет следующим условиям:

• прямая парной линейной регрессии проходит через точку ;
• среднее значение отклонений равна нулю: ;
• значения и не связаны: .

Условие метода наименьших квадратов выполняется, если значения коэффициентов равны:

,

.

Пример 1. Найти уравнение парной линейной регрессии зависимости между валовым внутренним продуктом (ВВП) и частным потреблением на основе данных примера урока о корреляционной зависимости (эта ссылка, которая откроется в новом окне, потребуется и при разборе следующих примеров).

Решение. Используем рассчитанные в решении названного выше примера суммы:

Используя эти суммы, вычислим коэффициенты:

Таким образом получили уравнение прямой парной линейной регрессии:

Составить уравнение парной линейной регрессии самостоятельно, а затем посмотреть решение

Пример 2. Найти уравнение парной линейной регрессии для выборки из 6 наблюдений, если уже вычислены следующие промежуточные результаты:

;

;

;

;

Видео:РегрессияСкачать

Анализ качества модели линейной регрессии

Метод наименьших квадратов имеет по меньшей мере один существенный недостаток: с его помощью можно найти уравнение линейной регрессии и в тех случаях, когда данные наблюдений значительно рассеяны вокруг прямой регрессии, то есть находятся на значительном расстоянии от этой прямой. В таких случаях за точность прогноза значений зависимой переменной ручаться нельзя. Существуют показатели, которые позволяют оценить качество уравнения линейной регрессии прежде чем использовать модели линейной регрессии для практических целей. Разберём важнейшие из этих показателей.

Коэффициент детерминации

Коэффициент детерминации принимает значения от 0 до 1 и в случае качественной модели линейной регрессии стремится к единице. Коэффициент детерминации показывает, какую часть общего рассеяния зависимой переменной объясняет независимая переменная:

,

— сумма квадратов отклонений, объясняемых моделью линейной регрессии, которая характеризует рассеяние точек прямой регрессии относительно арифметического среднего,

— общая сумма квадратов отклонений, которая характеризует рассеяние зависимой переменной Y относительно арифметического среднего,

— сумма квадратов отклонений ошибки (не объясняемых моделью линейной регрессии), которая характеризует рассеяние зависимой переменной Y относительно прямой регресии.

Пример 3. Даны сумма квадратов отклонений, объясняемых моделью линейной регрессии (3500), общая сумма квадратов отклонений (5000) и сумма квадратов отклонений ошибки (1500). Найти коэффициент детерминации двумя способами.

F-статистика (статистика Фишера) для проверки качества модели линейной регрессии

Минимальное возможное значение F-статистики — 0. Чем выше значение статистики Фишера, тем качественнее модель линейной регрессии. Этот показатель представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы):

где m — число объясняющих переменных.

Сумма квадратов остатков

Сумма квадратов остатков (RSS) измеряет необъясненную часть дисперсии зависимой переменной:

—

остатки — разности между реальными значениями зависимой переменной и значениями, оценёнными уравнением линейной регрессии.

В случае качественной модели линейной регрессии сумма квадратов остатков стремится к нулю.

Стандартная ошибка регрессии

Стандартная ошибка регрессии (SEE) измеряет величину квадрата ошибки, приходящейся на одну степень свободы модели:

Чем меньше значение SEE, тем качественнее модель.

Пример 4. Рассчитать коэффициент детерминации для данных из примера 1.

Решение. На основании данных таблицы (она была приведена в примере урока о корреляционной зависимости) получаем, что SST = 63 770,593 , SSE = 10 459,587 , SSR = 53 311,007 .

Можем убедиться, что выполняется закономерность SSR = SST — SSE :

Получаем коэффициент детерминации:

.

Таким образом, 83,6% изменений частного потребления можно объяснить моделью линейной регресии.

Видео:Эконометрика Линейная регрессия и корреляцияСкачать

Интерпретация коэффициентов уравнения парной линейной регрессии и прогноз значений зависимой переменной

Итак, уравнение парной линейной регрессии:

.

В этом уравнении a — свободный член, b — коэффициент при независимой переменной.

Интерпретация свободного члена: a показывает, на сколько единиц график регрессии смещён вверх при x=0, то есть значение переменной y при нулевом значении переменной x.

Интерпретация коэффициента при независимой переменной: b показывает, на сколько единиц изменится значение зависимой переменной y при изменении x на одну единицу.

Пример 5. Зависимость частного потребления граждан от ВВП (истолкуем это просто: от дохода) описывается уравнением парной линейной регрессии . Сделать прогноз потребления при доходе в 20 000 у.е. Выяснить, на сколько увеливается потребление при увеличении дохода на 5000 у.е. Меняется ли потребление, если доход не меняется?

Решение. Подставляем в уравнение парной линейной регрессии x i = 20000 и получаем прогноз потребления при доходе в 20 000 у.е. y i = 17036,4662 .

Подставляем в уравнение парной линейной регрессии x i = 5000 и получаем прогноз увеличения потребления при увеличении дохода на 5000 у.е. y i = 4161,9662 .

Если доход не меняется, то x i = 0 и получаем, что потребление уменьшается на 129,5338 у.е.

Видео:Эконометрика. Множественная регрессия и корреляция.Скачать

Задачи регрессионного анализа

Регрессионный анализ — раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости между величинами по статистическим данным.

Наиболее частые задачи регрессионного анализа:

• установление факта наличия или отсутствия статистических зависимостей между переменными величинами;
• выявление причинных связей между переменными величинами;
• прогноз или восстановление неизвестных значений зависимых переменных по заданным значениям независимых переменных.

Также делаются проверки статистических гипотез о регрессии. Кроме того, при изучении связи между двумя величинами по результатам наблюдений в соответствии с теорией регрессии предполагается, что зависимая переменная имеет некоторое распределение вероятностей при фиксированном значении независимой переменной.

В исследованиях поведения человека, чтобы они претендовали на объективность, важно не только установить зависимость между факторами, но и получить все необходимые статистические показатели для результата проверки соответствующей гипотезы.

Видео:Критерий Стьюдента в формулах (парная регрессия)Скачать

Проверка гипотезы о равенстве нулю коэффициента направления прямой парной линейной регрессии

Одна из важнейших гипотез в регрессионном анализе — гипотеза о том, что коэффициент направления прямой регрессии генеральной совокупности равен нулю.

Если это предположение верно, то изменения независимой переменной X не влияют на изменения зависимой переменной Y: переменные X и Y не коррелированы, то есть линейной зависимости Y от X нет.

рассматривают во взаимосвязи с альтернативной гипотезой

.

Статистика коэффициента направления

соответствует распределению Стьюдента с числом степеней свободы v = n — 2 ,

где — стандартная погрешность коэффициента направления прямой линейной регресии b 1 .

Доверительный интервал коэффициента направления прямой линейной регрессии:

.

Критическая область, в которой с вероятностью P = 1 — α отвергают нулевую гипотезу и принимают альтернативную гипотезу:

Пример 6. На основе данных из предыдущих примеров (о ВВП и частном потреблении) определить доверительный интервал коэффициента направления прямой линейной регресии 95% и проверить гипотезу о равенстве нулю коэффициента направления прямой парной линейной регрессии.

Можем рассчитать, что , а стандартная погрешность регрессии .

Таким образом, стандартная погрешность коэффициента направления прямой линейной регресии b 1 :

.

Так как и (находим по таблице в приложениях к учебникам по статистике), то доверительный интервал 95% коэффициента направления прямой парной линейной регрессии:

.

Так как гипотетическое значение коэффициента — нуль — не принадлежит доверительному интервалу, с вероятностью 95% можем отвергнуть основную гипотезу и принять альтернативную гипотезу, то есть считать, что зависимая переменная Y линейно зависит от независимой переменной X.

📸 Видео

Уравнение линейной регрессии. Интерпретация стандартной табличкиСкачать

Парная и множественная линейная регрессияСкачать

Линейная парная регрессия в Eviews(англ.интерфейс)Скачать

Линейная регрессия. Что спросят на собеседовании? ч.1Скачать

Нелинейная регрессия в MS Excel. Как подобрать уравнение регрессии? Некорректное значение R^2Скачать

Линейная регрессияСкачать

Математика #1 | Корреляция и регрессияСкачать

Парная нелинейная регрессияСкачать

Регрессия - как строить и интерпретировать. Примеры линейной и множественной регрессии.Скачать