Уравнение нелинейной регрессии по объясняющим переменным (8 видео)

Уравнение нелинейной регрессии

Вместе с этим калькулятором также используют следующие:
Уравнение множественной регрессии

Содержание

Виды нелинейной регрессии
Эконометрика
Тема 4. Множественная регрессия.
Вопросы
1. Нелинейная регрессия. Нелинейные модели и их линеаризация.
Нелинейная регрессия
Нелинейная регрессия
🌟 Видео

Видео:Линейная регрессияСкачать

Виды нелинейной регрессии

Вид	Класс нелинейных моделей
Полиномальное уравнение регрессии: y = a + bx + cx 2 (см. метод выравнивания) Гиперболическое уравнение регрессии: Квадратичное уравнение регрессии:	Нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам
Показательное уравнение регрессии: Экспоненциальное уравнение регрессии: Степенное уравнение регрессии: Полулогарифмическое уравнение регрессии: y = a + b lg(x)	Нелинейные по оцениваемым параметрам

Здесь ε — случайная ошибка (отклонение, возмущение), отражающая влияние всех неучтенных факторов.

Уравнению регрессии первого порядка — это уравнение парной линейной регрессии.

Уравнение регрессии второго порядка это полиномальное уравнение регрессии второго порядка: y = a + bx + cx 2 .

Уравнение регрессии третьего порядка соответственно полиномальное уравнение регрессии третьего порядка: y = a + bx + cx 2 + dx 3 .

Чтобы привести нелинейные зависимости к линейной используют методы линеаризации (см. метод выравнивания):

Замена переменных.
Логарифмирование обеих частей уравнения.
Комбинированный.

y = f(x)	Преобразование	Метод линеаризации
y = b x a	Y = ln(y); X = ln(x)	Логарифмирование
y = b e ax	Y = ln(y); X = x	Комбинированный
y = 1/(ax+b)	Y = 1/y; X = x	Замена переменных
y = x/(ax+b)	Y = x/y; X = x	Замена переменных. Пример
y = aln(x)+b	Y = y; X = ln(x)	Комбинированный
y = a + bx + cx 2	x₁ = x; x₂ = x 2	Замена переменных
y = a + bx + cx 2 + dx 3	x₁ = x; x₂ = x 2 ; x₃ = x 3	Замена переменных
y = a + b/x	x₁ = 1/x	Замена переменных
y = a + sqrt(x)b	x₁ = sqrt(x)	Замена переменных

Пример . По данным, взятым из соответствующей таблицы, выполнить следующие действия:

Построить поле корреляции и сформулировать гипотезу о форме связи.
Рассчитать параметры уравнений линейной, степенной, экспоненциальной, полулогарифмической, обратной, гиперболической парной регрессии.
Оценить тесноту связи с помощью показателей корреляции и детерминации.
Дать с помощью среднего (общего) коэффициента эластичности сравнительную оценку силы связи фактора с результатом.
Оценить с помощью средней ошибки аппроксимации качество уравнений.
Оценить с помощью F-критерия Фишера статистическую надежность результатов регрессионного моделирования. По значениям характеристик, рассчитанных в пп. 4, 5 и данном пункте, выбрать лучшее уравнение регрессии и дать его обоснование.
Рассчитать прогнозное значение результата, если прогнозное значение фактора увеличится на 15% от его среднего уровня. Определить доверительный интервал прогноза для уровня значимости α=0,05 .
Оценить полученные результаты, выводы оформить в аналитической записке.

Год	Фактическое конечное потребление домашних хозяйств (в текущих ценах), млрд. руб. (1995 г. — трлн. руб.), y	Среднедушевые денежные доходы населения (в месяц), руб. (1995 г. — тыс. руб.), х
1995	872	515,9
2000	3813	2281,1
2001	5014	3062
2002	6400	3947,2
2003	7708	5170,4
2004	9848	6410,3
2005	12455	8111,9
2006	15284	10196
2007	18928	12602,7
2008	23695	14940,6
2009	25151	16856,9

Решение. В калькуляторе последовательно выбираем виды нелинейной регрессии. Получим таблицу следующего вида.
Экспоненциальное уравнение регрессии имеет вид y = a e bx
После линеаризации получим: ln(y) = ln(a) + bx
Получаем эмпирические коэффициенты регрессии: b = 0.000162, a = 7.8132
Уравнение регрессии: y = e 7.81321500 e 0.000162x = 2473.06858e 0.000162x

Степенное уравнение регрессии имеет вид y = a x b
После линеаризации получим: ln(y) = ln(a) + b ln(x)
Эмпирические коэффициенты регрессии: b = 0.9626, a = 0.7714
Уравнение регрессии: y = e 0.77143204 x 0.9626 = 2.16286x 0.9626

Гиперболическое уравнение регрессии имеет вид y = b/x + a + ε
После линеаризации получим: y=bx + a
Эмпирические коэффициенты регрессии: b = 21089190.1984, a = 4585.5706
Эмпирическое уравнение регрессии: y = 21089190.1984 / x + 4585.5706

Логарифмическое уравнение регрессии имеет вид y = b ln(x) + a + ε
Эмпирические коэффициенты регрессии: b = 7142.4505, a = -49694.9535
Уравнение регрессии: y = 7142.4505 ln(x) — 49694.9535

Видео:Эконометрика. Линейная парная регрессияСкачать

Эконометрика

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ВСЕРОССИЙСКИЙ ЗАОЧНЫЙ ФИНАНСОВО-ЭКОНОМИЧЕСКИЙ

Кафедра экономико-метематических моделей

Тема 4. Множественная регрессия.

Вопросы

1. Нелинейная регрессия. Нелинейные модели и их линеаризация.

Нелинейная регрессия

При рассмотрении зависимости экономических показателей на основе реальных статистических данных с использованием аппарата теории вероятности и математической статистики можно сделать выводы, что линейные зависимости встречаются не так часто. Линейные зависимости рассматриваются лишь как частный случай для удобства и наглядности рассмотрения протекаемого экономического процесса. Чаще встречаются модели которые отражают экономические процессы в виде нелинейной зависимости.

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам: регрессии, нелинейные по оцениваемым параметрам.

Нелинейные регрессии по включаемым в нее объясняющим переменным, но линейные по оцениваемым параметрам

Данный класс нелинейных регрессий включает уравнения, в которых зависимая переменная линейно связана с параметрами. Примером могут служить:

полиномы разных степеней

(полином k-й степени)

и равносторонняя гипербола

При оценке параметров регрессий нелинейных по объясняющим переменным используется подход, именуемый «замена переменных». Суть его состоит в замене «нелинейных» объясняющих переменных новыми «линейными» переменными и сведение нелинейной регрессии к линейной регрессии. К новой «преобразованной» регрессии может быть применен обычный метод наименьших квадратов (МНК).

Полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез.

Среди нелинейной полиноминальной регрессии чаще всего используется парабола второй степени; в отдельных случаях — полином третьего порядка. Ограничение в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и, соответственно, менее однородна совокупность по результативному признаку.

Равносторонняя гипербола, для оценки параметров которой используется тот же подход «замены переменных» (1/x заменяют на переменную z) хорошо известна в эконометрике.

Она может быть использована, например, для характеристики связи удельных расходов сырья, материалов и топлива с объемом выпускаемой продукции. Также примером использования равносторонней гиперболы являются кривые Филлипса и Энгеля..

Регрессии нелинейные по оцениваемым параметрам

К данному классу регрессий относятся уравнения, в которых зависимая переменная нелинейно связана с параметрами. Примером таких нелинейных регрессий являются функции:

• степенная — ;

• показательная — ;

• экспоненциальная —

Если нелинейная модель внутренне линейна, то она с помощью соответствующих преобразований может быть приведена к линейному виду (например, логарифмированием и заменой переменных). Если же нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции и для оценки её параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода.

Примером нелинейной по параметрам регрессии внутренне линейной является степенная функция, которая широко используется в эконометрических исследованиях при изучении спроса от цен: , где у — спрашиваемое количество; х — цена;

Данная модель нелинейна относительно оцениваемых параметров, т. к. включает параметры а и b неаддитивно. Однако ее можно считать внутренне линейной, ибо логарифмирование данного уравнения по основанию е приводит его к линейному виду . Заменив переменные и параметры, получим линейную регрессию, оценки параметров которой а и b могут быть найдены МНК.

Широкое использование степенной функции связано это с тем, что параметр b в ней имеет четкое экономическое истолкование, т. е. он является коэффициентом эластичности. Это значит, что величина коэффициента b показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1 %.

Коэффициент эластичности можно определять и при наличии других форм связи, но только для степенной функции он представляет собой постоянную величину, равную параметру b.

По семи предприятиям легкой промышленности региона получена информация, характеризующая зависимость объема выпуска продукции (Y, млн. руб.) от объема капиталовложений ( Х, млн. руб. ).

Видео:Математика #1 | Корреляция и регрессияСкачать

Нелинейная регрессия

16.3. Нелинейная регрессия

Многие связи по своей природе, то есть в реальной жизни, либо являются строго линейными, либо их можно привести к линейному виду. Один пример линейной связи из области медицины был приведен в главе 16.1; ещё одним, уже знакомым нам примером является линейная связь между весом и ростом. При условии наличия лопаточного количества респондентов, на основании измеренных пар значений можно вывести уравнение регрессионной прямой, к которой более или менее приближается множество точек, соответствующие парам значений.

Существуют также линейные связи, следующие непосредственно из физических закономерностей. Так путь s, пройденный, при постоянной скорости с за промежуток времени t рассчитывается по формуле:

Стало быть, путь является линейной функцией времени. А если мы рассмотрим закон свободного падения, то в этом случае расстояние s, которое проходили падающее тело увеличивается пропорционально квадрату времени:

где g — ускорение свободного падения.

Если Вы захотите проверить это экспериментально, то Вам надлежит сделать серию опытов, в которых будет необходимо бросать некоторый предмет, например, камень, с различной высоты (лучше всего, конечно же, в разряжённом, безвоздушном пространстве) и засекать время падения. Предположим, у Вас получились следующие результаты:

s (см)	t (сек)
5	1,0
9	1,4
16	1,8
26	2,3
40	2,8
65	3,6
98	4,5

Хотя связь между s и t и не является линейной, её можно перевести в линейную модель, если взять квадратный корень из обоих сторон закона свободного падения:

С помощью преобразования данных, мы разрешаем компьютеру создать новую переменную, содержащую значения квадратного корня из величины s и рассматривать её как зависимую переменную, а время t как независимую переменную. Рассчитаем коэффициент регрессии b так, как это было изложено в разделе 16.1.

Используя этот коэффициент, можно теперь рассчитать искомое ускорение свободного падения:

Если Вы выполните эти вычисления, то получите b = 0,2224 и g = 9,88.

При помощи соответствующих трансформаций в линейную модель можно перевести и другие исходно нелинейные связи. К примеру, очень часто встречающуюся экспоненциальную связь

можно преобразовать в линейную при помощи вычисления логарифма от обеих сторон уравнения

ln (у) = ln(a) + b • x

То есть в данном случае до проведения линейного регрессионного анализа необходимо прологарифмировать независимые переменные.

Связи, которые при помощи соответствующих трансформаций могут быть переведены в линейную связь, называются линейными по существу (Intrinsically Linear Model). Возможность перевода в линейную модель нужно использовать всегда, так как в этом случае параметры регресии вычисляются непосредственно, а не определяются с помощью итераций.

В качестве примера нелинейной по существу связи (Intrinsically Nonlinear Model) можно привести динамику роста населения США (этот пример взят из Справочника по SPSS):

Год	Лекала	Население
1790	0	3,895
1800	1	5,267
1810	2	7,182
1820	3	9,566
1830	4	12,834
1840	5	16,985
1850	6	23,069
1860	7	31,278
1870	8	38,416
1880	9	49,924
1890	10	62,692
1900	11	75,734
1910	12	91,812
1920	13	109,806
1930	14	122,775
1940	15	131,669
1950	16	150,697
1960	17	178,464

В таблице приведена численность населения в миллионах и дополнительно количество декад (десятилетий), прошедших с 1790 года.

Зависимость численности населения (переменная pop) от времени t (выраженного здесь в декадах) часто описывается при помощи следующей формулы:

Эту связь нельзя перевести в линейную форму. Она включает три параметра: а, b и с, которые должны быть определены при помощи подходящего метода. Для этого необходимо задать начальные значения этих параметров.

Общего универсального метода определения параметров подобной нелинейной связи, к сожалению, не существует, поэтому описанная ниже последовательность действий может служить только примером.

В рассматриваемом примере параметр с является амплитудой, так что начальное значение может быть задано немного большим, чем максимум значения pop, то есть приблизительно с = 200.

При помощи значения параметра pop при t = 0 и начального значения параметра с можно получить начальную оценку параметра а:

3,895 = 200 / (1 + e a )

а = ln ((200 / 3,895 — 1)) = 3,9

Исходя из значения параметра pop для первой декады, можно вычислить начальное значение параметра b:

5,267 = 200 / (1 + e 3,9 + b )

b = ln (5,267 — 1) — 3,9 = -0,3

Определим теперь более точные значения параметров а, b и с с помощью итераций.

Выберите в меню Analyze. (Анализ) ► Regression. (Регрессия) ► Nonlinear. (Нелинейная)

В диалоговом окне Nonlinear Regression (Нелинейная регрессия) перенесите переменную pop в поле для зависимых переменных.

Щёлкните на поле Model Expression (Модельное выражение) и внесите в него следующую формулу: c/(1+exp(a+b*dekade))

При вводе формулы можно использовать клавиатуру, находящуюся в диалоговом окне. Диалоговое окно будет выглядеть так, как изображено на рисунке 16.15. Нам осталось только задать начальные значения параметров.

Рис. 16.15: Диалоговое окно Nonlinear Regression (Нелинейная регрессия).

Щёлкните на кнопке Parameter. (Параметр). Вы получите диалоговое окно, в котором сможете задавать начальные значения.

Укажите в поле имён имя первого параметра, то есть, к примеру, а, затем щёлкните в поле Starting value (Начальное значение), введите значение 3,9 и щёлкните на Add (Добавить).

Поступите таким же образом с двумя другими параметрами бис (начальные значения —0,3 и 200 соответственно).

Покиньте диалоговое окно нажатием Далее.

Щёлкните на кнопке Save (Сохранить). Отметьте в диалоговом окне Nonlinear Regression: Save New Variables (Нелинейная регрессия: Сохранить новые переменные) параметры: Predicted Values (Прогнозируемые значения) и Residuals (Остатки). Таким образом, Вы создадите две новые переменные (с именами: pred_ и resid), которые содержат вычисленные значения и остатки для каждого года.

Начните расчёт нажатием ОК.

На экране появятся результаты, причём Вы можете заметить, что вывод происходит не в виде привычных современных таблиц. Сначала протоколируется процесс итерации; в рассматриваемом примере для достижения заданного уровня точности понадобилось 10 итерационных шагов. Дополнительно выводятся следующие статистические характеристики:

Nonlinear Regression Source	Summary DF	Statistics Sum of Squares	Dependent Variable POP Mean Square
Regression	3	123048,61437	41016,20479
Residual	15	186,50337	12,43356
Uncorrected Total	18	123235,11774
(Corrected Total)	17	53291,50763
R squared = 1 — Residual SS / Corrected SS = ,99650

Здесь интерес может представлять только член, обозначенный R squared; его следует понимать как часть суммарной дисперсии, которая обусловлена построенной моделью. Вычисленное значение этого параметра, 0.9965, указывает на очень хорошую степень приближения. После этого вывода следует распечатка конечных значений всех трех параметров вместе с соответствующей стандартной ошибкой и доверительным интервалом:

Asymptotic		95 % Asymptotic Confidence Interval
Parameter	Estimate	Std. Error	Lower	Upper
A	3,888771432 ,	093688592	3,6890789254	,088463938
B	-,278834486,	015593535	-,312071318	-,245597654
C	244,01372955	17,974966354	205,70099568	282,32646341

Завершает список выводимых результатов корреляционная матрица оценок параметров:

Asymptotic Correlation Matrix of the Parameter Estimates
А	В	С
А В С	1,0000 -,7243 -,3759	-,7243 1,000 ,9043	-,3759 ,9043 1,0000

Очень высокие абсолютные значения корреляций указывают на то, что модель содержит неоправданно большое количество параметров. В рассматриваемом примере и модель с меньшим количеством параметров даст столь же хорошее приближение.

Если Вы хотите визуально сравнить рассчитанные значения с наблюдаемыми, то можете посредством меню Graph. (Графики) ► Scatter plots. (Диаграммы рассеяния) построить многослойную диаграмму рассеяния (Staggered), на которой Вы можете представить переменные pop и pred_ в зависимости от переменной jahr. Также можно поступить и с остатками (переменная rcsid).

Согласно предварительным установкам при расчете нелинейной регрессии происходит минимизация суммы квадратов остатков. При помощи кнопки Loss. (Остаток) можно задать какую-либо другую минимизирующую функцию. Далее при помощи кнопки Constraints. (ограничения) может быть открыто окно, в котором можно задать ограничения для определяемых параметров нелинейной регрессии.