Уравнение линейной регрессии в матричной форме

Видео:Уравнение линейной регрессии. Интерпретация стандартной табличкиСкачать

Уравнение линейной регрессии. Интерпретация стандартной таблички

Как решить линейную регрессию с помощью линейной алгебры

Дата публикации 2018-03-05

Линейная регрессия — это метод моделирования отношений между одной или несколькими независимыми переменными и зависимой переменной.

Это основной продукт статистики, который часто считается хорошим начальным методом машинного обучения. Это также метод, который может быть переформулирован с использованием матричной записи и решен с использованием матричных операций.

В этом уроке вы узнаете матричную формулировку линейной регрессии и способы ее решения с использованием методов прямой и матричной факторизации.

После завершения этого урока вы узнаете:

  • Линейная регрессия и переформулировка матрицы с помощью нормальных уравнений.
  • Как решить линейную регрессию с использованием декомпозиции матрицы QR.
  • Как решить линейную регрессию, используя SVD и псевдообратную.

Уравнение линейной регрессии в матричной форме

Видео:Множественная регрессияСкачать

Множественная регрессия

Обзор учебника

Этот урок разделен на 6 частей; они есть:

  1. Линейная регрессия
  2. Матричная формулировка линейной регрессии
  3. Набор данных линейной регрессии
  4. Решить напрямую
  5. Решить с помощью QR-разложения
  6. Решить через разложение по сингулярному значению

Видео:Математика #1 | Корреляция и регрессияСкачать

Математика #1 | Корреляция и регрессия

Линейная регрессия

Линейная регрессия — это метод моделирования отношений между двумя скалярными значениями: входной переменной x и выходной переменной y.

Модель предполагает, что y является линейной функцией или взвешенной суммой входной переменной.

Или указано с коэффициентами.

Модель также можно использовать для моделирования выходной переменной с учетом нескольких входных переменных, называемых многомерной линейной регрессией (ниже для удобства чтения были добавлены скобки).

Цель создания модели линейной регрессии состоит в том, чтобы найти значения для значений коэффициента (b), которые минимизируют ошибку в прогнозировании выходной переменной y.

Матричная формулировка линейной регрессии

Линейная регрессия может быть задана с использованием матричной записи; например:

Или без точечной записи.

Где X — входные данные, а каждый столбец — объект данных, b — вектор коэффициентов, а y — вектор выходных переменных для каждой строки в X.

Переформулированная задача превращается в систему линейных уравнений, в которой значения вектора b неизвестны. Система такого типа упоминается как переопределенная, потому что существует больше уравнений, чем неизвестных, то есть каждый коэффициент используется в каждой строке данных.

Это сложная проблема для решения аналитически, потому что есть несколько противоречивых решений, например, несколько возможных значений для коэффициентов. Кроме того, все решения будут иметь некоторую ошибку, потому что нет линии, которая будет проходить почти через все точки, поэтому подход к решению уравнений должен быть в состоянии справиться с этим.

Как правило, это достигается путем нахождения решения, в котором значения b в модели минимизируют квадратичную ошибку. Это называется линейным методом наименьших квадратов.

Эта формулировка имеет уникальное решение, если входные столбцы независимы (например, некоррелированы).

Мы не всегда можем получить ошибку e = b — Ax до нуля. Когда e равно нулю, x является точным решением Ax = b. Когда длина е настолько мала, насколько это возможно, это решение наименьших квадратов.

В матричной записи эта проблема формулируется с использованием так называемого нормального уравнения:

Это может быть переупорядочено, чтобы указать решение для b как:

Это может быть решено напрямую, хотя наличие обратной матрицы может быть численно сложным или нестабильным.

Видео:Парная регрессия: линейная зависимостьСкачать

Парная регрессия: линейная зависимость

Набор данных линейной регрессии

Чтобы изучить матричную формулировку линейной регрессии, давайте сначала определим набор данных как контекст.

Мы будем использовать простой 2D-набор данных, в котором данные легко визуализировать в виде точечной диаграммы, а модели легко представить в виде линии, которая пытается соответствовать точкам данных.

Приведенный ниже пример определяет матричный набор данных 5 × 2, разбивает его на компоненты X и y и строит набор данных как график рассеяния.

При запуске примера сначала печатается определенный набор данных.

Затем создается точечная диаграмма набора данных, показывающая, что прямая линия не может точно соответствовать этим данным.

Уравнение линейной регрессии в матричной форме

Видео:Эконометрика Линейная регрессия и корреляцияСкачать

Эконометрика  Линейная регрессия и корреляция

Решить напрямую

Первый подход — попытаться решить проблему регрессии напрямую.

То есть, учитывая X, каков набор коэффициентов b, который при умножении на X даст y. Как мы видели в предыдущем разделе, нормальные уравнения определяют, как вычислять b напрямую.

Это можно вычислить непосредственно в NumPy, используя функцию inv () для вычисления обратной матрицы.

После того как коэффициенты рассчитаны, мы можем использовать их для прогнозирования результатов с учетом X.

Объединяя это с набором данных, определенным в предыдущем разделе, полный пример приведен ниже.

При выполнении примера выполняется вычисление и выводится вектор коэффициента b.

Затем создается точечная диаграмма набора данных с линейным графиком для модели, показывающим разумное соответствие данным

Уравнение линейной регрессии в матричной форме

Проблема с этим подходом — обратная матрица, которая является вычислительно дорогой и численно нестабильной. Альтернативный подход заключается в использовании матричной декомпозиции, чтобы избежать этой операции. Мы рассмотрим два примера в следующих разделах.

Видео:Что такое линейная регрессия? Душкин объяснитСкачать

Что такое линейная регрессия? Душкин объяснит

Решить с помощью QR-разложения

QR-разложение — это подход к разбивке матрицы на составляющие ее элементы.

Где A — матрица, которую мы хотим разложить, Q — матрица с размером m x m, а R — верхняя треугольная матрица с размером m x n.

QR-разложение является популярным подходом для решения линейного уравнения наименьших квадратов.

Переходя ко всему выводу, коэффициенты могут быть найдены с использованием элементов Q и R следующим образом:

Подход все еще включает матричную инверсию, но в этом случае только на более простой R-матрице.

QR-разложение можно найти с помощью функции qr () в NumPy. Расчет коэффициентов в NumPy выглядит следующим образом:

Связав это с набором данных, полный пример приведен ниже.

Выполнение примера сначала печатает решение коэффициента и наносит на график данные с моделью.

Подход QR-разложения более эффективен в вычислительном отношении и более численно стабилен, чем прямой расчет нормального уравнения, но не работает для всех матриц данных.

Уравнение линейной регрессии в матричной форме

Видео:Линейная регрессияСкачать

Линейная регрессия

Решить через разложение по сингулярному значению

Разложение по сингулярному значению, или сокращенно SVD, — это метод матричной декомпозиции, такой как QR-декомпозиция.

Где A — вещественная матрица nxm, которую мы хотим разложить, U — матрица amxm, Sigma (часто представляемая заглавной греческой буквой Sigma) — диагональная матрица mxn, а V ^ * — сопряженная транспонирование матрицы nxn, где * — верхний индекс.

В отличие от разложения QR, все матрицы имеют разложение SVD. В качестве основы для решения системы линейных уравнений для линейной регрессии SVD является более устойчивым и предпочтительным подходом.

После разложения коэффициенты могут быть найдены путем вычисления псевдообращения входной матрицы X и умножения ее на выходной вектор y.

Где псевдообратный рассчитывается следующим образом:

Где X ^ + — псевдообратная X, а + — верхний индекс, D ^ + — псевдообратная диагональная матрица Sigma, а V ^ T — транспонирование V ^ *.

Инверсия матриц не определена для матриц, которые не являются квадратными. […] Когда A имеет больше столбцов, чем строк, то решение линейного уравнения с использованием псевдообратного представления дает одно из многих возможных решений.

Мы можем получить U и V из операции SVD. D ^ + можно рассчитать, создав диагональную матрицу из Sigma и вычислив обратную величину каждого ненулевого элемента в Sigma.

Мы можем вычислить SVD, затем псевдообратную вручную. Вместо этого NumPy предоставляет функцию pinv (), которую мы можем использовать напрямую.

Полный пример приведен ниже.

При выполнении примера печатается коэффициент и данные отображаются красной линией, показывающей прогнозы из модели.

Фактически, NumPy предоставляет функцию для замены этих двух шагов в функции lstsq (), которую вы можете использовать напрямую.

Уравнение линейной регрессии в матричной форме

Видео:Лекция 2.1: Линейная регрессия.Скачать

Лекция 2.1: Линейная регрессия.

расширения

В этом разделе перечислены некоторые идеи по расширению учебника, которые вы, возможно, захотите изучить.

  • Реализация линейной регрессии с использованием встроенной функции lstsq () NumPy
  • Проверьте каждую линейную регрессию на своем собственном маленьком вымышленном наборе данных.
  • Загрузите набор табличных данных и протестируйте каждый метод линейной регрессии и сравните результаты.

Если вы исследуете какое-либо из этих расширений, я хотел бы знать.

Видео:Линейная регрессияСкачать

Линейная регрессия

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

книги

  • Раздел 7.7. Наименьшие квадраты приближенных решений.Руководство по линейной алгебре, 2017
  • Раздел 4.3 Аппроксимации наименьших квадратов,Введение в линейную алгебру, Пятое издание, 2016.
  • Лекция 11, Проблемы наименьших квадратов,Численная линейная алгебра, 1997.
  • Глава 5, Ортогонализация и наименьшие квадраты,Матричные вычисления2012.
  • Глава 12, Сингулярное значение и разложение Джордана,Линейная алгебра и матричный анализ для статистики2014
  • Раздел 2.9. Псевдообращение Мура-Пенроуза.Глубокое обучение, 2016
  • Раздел 15.4 Генеральные линейные наименьшие квадраты,Численные рецепты: искусство научных вычисленийТретье издание, 2007.

статьи

Учебники

Видео:Линейная регрессия. Что спросят на собеседовании? ч.1Скачать

Линейная регрессия. Что спросят на собеседовании? ч.1

Резюме

В этом руководстве вы обнаружили матричную формулировку линейной регрессии и способы ее решения с использованием методов прямой и матричной факторизации.

В частности, вы узнали:

  • Линейная регрессия и переформулировка матрицы с помощью нормальных уравнений.
  • Как решить линейную регрессию с использованием декомпозиции матрицы QR.
  • Как решить линейную регрессию, используя SVD и псевдообратную.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Видео:Множественная регрессия в ExcelСкачать

Множественная регрессия в Excel

Уравнение множественной регрессии

Назначение сервиса . С помощью онлайн-калькулятора можно найти следующие показатели:

  • уравнение множественной регрессии, матрица парных коэффициентов корреляции, средние коэффициенты эластичности для линейной регрессии;
  • множественный коэффициент детерминации, доверительные интервалы для индивидуального и среднего значения результативного признака;

Кроме этого проводится проверка на автокорреляцию остатков и гетероскедастичность.

  • Шаг №1
  • Шаг №2
  • Видеоинструкция
  • Оформление Word

Отбор факторов обычно осуществляется в два этапа:

  1. теоретический анализ взаимосвязи результата и круга факторов, которые оказывают на него существенное влияние;
  2. количественная оценка взаимосвязи факторов с результатом. При линейной форме связи между признаками данный этап сводится к анализу корреляционной матрицы (матрицы парных линейных коэффициентов корреляции). Научно обоснованное решение задач подобного вида также осуществляется с помощью дисперсионного анализа — однофакторного, если проверяется существенность влияния того или иного фактора на рассматриваемый признак, или многофакторного в случае изучения влияния на него комбинации факторов.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

  1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.
  2. Каждый фактор должен быть достаточно тесно связан с результатом (т.е. коэффициент парной линейной корреляции между фактором и результатом должен быть существенным).
  3. Факторы не должны быть сильно коррелированы друг с другом, тем более находиться в строгой функциональной связи (т.е. они не должны быть интеркоррелированы). Разновидностью интеркоррелированности факторов является мультиколлинеарность — тесная линейная связь между факторами.

Пример . Постройте регрессионную модель с 2-мя объясняющими переменными (множественная регрессия). Определите теоретическое уравнение множественной регрессии. Оцените адекватность построенной модели.
Решение.
К исходной матрице X добавим единичный столбец, получив новую матрицу X

1514.5
11218
1612
1713
1814

Матрица Y

9
13
16
14
21

Транспонируем матрицу X, получаем X T :

11111
512678
14.518121314
Умножаем матрицы, X T X =
53871,5
38318563,5
71,5563,51043,25

В матрице, (X T X) число 5, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X T и 1-го столбца матрицы X

Умножаем матрицы, X T Y =
73
563
1032,5

Находим обратную матрицу (X T X) -1

13.990.64-1.3
0.640.1-0.0988
-1.3-0.09880.14

Вектор оценок коэффициентов регрессии равен

(X T X) -1 X T Y = y(x) =
13,990,64-1,3
0,640,1-0,0988
-1,3-0,09880,14
*
73
563
1032,5
=
34,66
1,97
-2,45

Получили оценку уравнения регрессии: Y = 34.66 + 1.97X1-2.45X2
Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности. Для ее проверки используют F-критерий Фишера.
R 2 = 1 — s 2 e/∑(yi — yср) 2 = 1 — 33.18/77.2 = 0.57
F = R 2 /(1 — R 2 )*(n — m -1)/m = 0.57/(1 — 0.57)*(5-2-1)/2 = 1.33
Табличное значение при степенях свободы k1 = 2 и k2 = n-m-1 = 5 — 2 -1 = 2, Fkp(2;2) = 19
Поскольку фактическое значение F = 1.33 Пример №2 . Приведены данные за 15 лет по темпам прироста заработной платы Y (%), производительности труда X1 (%), а также по уровню инфляции X2 (%).

Год123456789101112131415
X13,52,86,34,53,11,57,66,74,22,74,53,55,02,32,8
X24,53,03,13,83,81,12,33,67,58,03,94,76,16,93,5
Y9,06,08,99,07,13,26,59,114,611,99,28,812,012,55,7

Решение. Подготовим данные для вставки из MS Excel (как транспонировать таблицу для сервиса см. Задание №2) .

Уравнение линейной регрессии в матричной форме

Включаем в отчет: Проверка общего качества уравнения множественной регрессии (F-статистика. Критерий Фишера, Проверка на наличие автокорреляции),

Уравнение линейной регрессии в матричной форме

После нажатия на кнопку Дале получаем готовое решение.
Уравнение регрессии (оценка уравнения регрессии):
Y = 0.2706 + 0.5257X1 + 1.4798X2
Скачать.

Качество построенного уравнения регрессии проверяется с помощью критерия Фишера (п. 6 отчета).

Пример №3 .
В таблице представлены данные о ВВП, объемах потребления и инвестициях некоторых стран.

ВВП16331,9716763,3517492,2218473,8319187,6420066,2521281,7822326,8623125,90
Потребление в текущих ценах771,92814,28735,60788,54853,62900,39999,551076,371117,51
Инвестиции в текущих ценах176,64173,15151,96171,62192,26198,71227,17259,07259,85

Решение:
Для проверки полученных расчетов используем инструменты Microsoft Excel «Анализ данных» (см. пример).

Пример №4 . На основе данных, приведенных в Приложении и соответствующих Вашему варианту (таблица 2), требуется:

  1. Построить уравнение множественной регрессии. При этом признак-результат и один из факторов остаются теми же, что и в первом задании. Выберите дополнительно еще один фактор из приложения 1 (границы наблюдения должны совпадать с границами наблюдения признака-результата, соответствующего Вашему варианту). При выборе фактора нужно руководствоваться его экономическим содержанием или другими подходами. Пояснить смысл параметров уравнения.
  2. Рассчитать частные коэффициенты эластичности. Сделать вывод.
  3. Определить стандартизованные коэффициенты регрессии (b-коэффициенты). Сделать вывод.
  4. Определить парные и частные коэффициенты корреляции, а также множественный коэффициент корреляции; сделать выводы.
  5. Оценить значимость параметров уравнения регрессии с помощью t-критерия Стьюдента, а также значимость уравнения регрессии в целом с помощью общего F-критерия Фишера. Предложить окончательную модель (уравнение регрессии). Сделать выводы.

Решение. Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор получается из выражения:
s = (X T X) -1 X T Y
Матрица X

13.910
13.914
13.715
1416
13.817
14.819
15.419
14.420
15.320
16.820
1621
16.422
16.822
17.225
1828
18.229
18.130
18.531
19.632
1936

Матрица Y

7
7
7
7
7
7
8
8
8
10
9
11
9
11
12
12
12
12
14
14

Матрица X T

11111111111111111111
3.93.93.743.84.85.44.45.36.866.46.87.288.28.18.59.69
1014151617191920202021222225282930313236

Умножаем матрицы, (X T X)

Умножаем матрицы, (X T Y)

Находим определитель det(X T X) T = 139940.08
Находим обратную матрицу (X T X) -1

Уравнение линейной регрессии в матричной форме

Уравнение регрессии
Y = 1.8353 + 0.9459X 1 + 0.0856X 2
Для несмещенной оценки дисперсии проделаем следующие вычисления:
Несмещенная ошибка e = Y — X*s

0.62
0.28
0.38
0.01
0.11
-1
-0.57
0.29
-0.56
0.02
-0.31
1.23
-1.15
0.21
0.2
-0.07
-0.07
-0.53
0.34
0.57

se 2 = (Y — X*s) T (Y — X*s)
Несмещенная оценка дисперсии равна

Оценка среднеквадратичного отклонения равна

Найдем оценку ковариационной матрицы вектора k = σ*(X T X) -1

k(x) = 0.36
0,619-0,0262-0,0183
-0,02620,126-0,0338
-0,0183-0,03380,0102
=
0,222-0,00939-0,00654
-0,009390,0452-0,0121
-0,00654-0,01210,00366

Дисперсии параметров модели определяются соотношением S 2 i = Kii, т.е. это элементы, лежащие на главной диагонали
С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции (от 0 до 1)

Связь между признаком Y факторами X сильная
Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора хi при неизменном уровне других факторов определяются по стандартной формуле линейного коэффициента корреляции — последовательно берутся пары yx1,yx2. , x1x2, x1x3.. и так далее и для каждой пары находится коэффициент корреляции

Коэффициент детерминации
R 2 = 0.97 2 = 0.95, т.е. в 95% случаев изменения х приводят к изменению y. Другими словами — точность подбора уравнения регрессии — высокая

Значимость коэффициента корреляции

По таблице Стьюдента находим Tтабл: Tтабл (n-m-1;a) = (17;0.05) = 1.74
Поскольку Tнабл Fkp, то коэффициент детерминации статистически значим и уравнение регрессии статистически надежно

Видео:Эконометрика. Линейная парная регрессияСкачать

Эконометрика. Линейная парная регрессия

Построение парной регрессионной модели

Рекомендации к решению контрольной работы.

Статистические данные по экономике можно получить на странице Россия в цифрах.
После определения зависимой и объясняющих переменных можно воспользоваться сервисом Множественная регрессия. Регрессионную модель с 2-мя объясняющими переменными можно построить используя матричный метод нахождения параметров уравнения регрессии или метод Крамера для нахождения параметров уравнения регрессии.

Пример №3 . Исследуется зависимость размера дивидендов y акций группы компаний от доходности акций x1, дохода компании x2 и объема инвестиций в расширение и модернизацию производства x3. Исходные данные представлены выборкой объема n=50.

Тема I. Парная линейная регрессия
Постройте парные линейные регрессии — зависимости признака y от факторов x1, x2, x3 взятых по отдельности. Для каждой объясняющей переменной:

  1. Постройте диаграмму рассеяния (поле корреляции). При построении выберите тип диаграммы «Точечная» (без отрезков, соединяющих точки).
  2. Вычислите коэффициенты уравнения выборочной парной линейной регрессии (для вычисления коэффициентов регрессии воспользуйтесь встроенной функцией ЛИНЕЙН (функция находится в категории «Статистические») или надстройкой Пакет Анализа), коэффициент детерминации, коэффициент корреляции (функция КОРЕЛЛ), среднюю ошибку аппроксимацииУравнение линейной регрессии в матричной форме.
  3. Запишите полученное уравнение выборочной регрессии. Дайте интерпретацию найденным в предыдущем пункте значениям.
  4. Постройте на поле корреляции прямую линию выборочной регрессии по точкам Уравнение линейной регрессии в матричной форме.
  5. Постройте диаграмму остатков.
  6. Проверьте статистическую значимость коэффициентов регрессии по критерию Стьюдента (табличное значение определите с помощью функции СТЬЮДРАСПОБР) и всего уравнения в целом по критерию Фишера (табличное значение Fтабл определите с помощью функции FРАСПОБР).
  7. Постройте доверительные интервалы для коэффициентов регрессии. Дайте им интерпретацию.
  8. Постройте прогноз для значения фактора, на 50% превышающего его среднее значение.
  9. Постройте доверительный интервал прогноза. Дайте ему экономическую интерпретацию.
  10. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемого фактора на показатель.

Тема II. Множественная линейная регрессия
1. Постройте выборочную множественную линейную регрессию показателя на все указанные факторы. Запишите полученное уравнение, дайте ему экономическую интерпретацию.
2. Определите коэффициент детерминации, дайте ему интерпретацию. Вычислите среднюю абсолютную ошибку аппроксимации Уравнение линейной регрессии в матричной формеи дайте ей интерпретацию.
3. Проверьте статистическую значимость каждого из коэффициентов и всего уравнения в целом.
4. Постройте диаграмму остатков.
5. Постройте доверительные интервалы коэффициентов. Для статистически значимых коэффициентов дайте интерпретации доверительных интервалов.
6. Постройте точечный прогноз значения показателя y при значениях факторов, на 50% превышающих их средние значения.
7. Постройте доверительный интервал прогноза, дайте ему экономическую интерпретацию.
8. Постройте матрицу коэффициентов выборочной корреляции между показателем и факторами. Сделайте вывод о наличии проблемы мультиколлинеарности.
9. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемых факторов на показатель.

Видео:РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линейная регрессия | LinearRegression | МАШИННОЕ ОБУЧЕНИЕСкачать

РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линейная регрессия | LinearRegression | МАШИННОЕ ОБУЧЕНИЕ

Матричный подход

Дата добавления: 2014-11-27 ; просмотров: 4058 ; Нарушение авторских прав

Построение модели линейной регрессии возможно проводить матричным методом. При этом результаты наблюдений Уравнение линейной регрессии в матричной форме, значения объясняющих переменных, параметры Уравнение линейной регрессии в матричной формефункции регрессии записываем в виде матриц:

Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме.

При этом вводят переменные:

Уравнение линейной регрессии в матричной форме— вектор-столбец наблюдений над результативным показателем;

Уравнение линейной регрессии в матричной форме— матрица данных, причем первый столбец всегда состоит из единиц;

А — вектор-столбец коэффициентов регрессии.

Тогда уравнение регрессии в матричной форме имеет вид:

Уравнение линейной регрессии в матричной форме. (3.4.9)

Используя МНК, получим в качестве решения системы нормальных уравнений вектор-столбец искомых параметров регрессии:

Уравнение линейной регрессии в матричной форме, (3.4.10)

где Уравнение линейной регрессии в матричной форме— транспонированная матрица.

Таким образом, можем установить последовательность выполняемых действий:

· составить матрицу Уравнение линейной регрессии в матричной форме;

· выписать вектор Уравнение линейной регрессии в матричной форме;

· получить транспонированную матрицу Уравнение линейной регрессии в матричной форме;

· найти произведение матриц Уравнение линейной регрессии в матричной форме;

· найти произведение матрицы Уравнение линейной регрессии в матричной формена вектор Уравнение линейной регрессии в матричной форме;

· определить обратную матрицу Уравнение линейной регрессии в матричной форме;

· составить произведение Уравнение линейной регрессии в матричной форме, провести вычисления и определить вектор коэффициентов уравнения;

· записать моделирующее уравнение.

Переход к матричной форме позволяет, во-первых, представить алгоритм нахождения коэффициентов уравнения в более компактном конкретном виде, а во-вторых, использовать по этому алгоритму любой пакет программ, позволяющий проводить действия с матрицами.

Покажем на конкретном примере, как проводятся вычисления и находятся параметры линейного уравнения множественной регрессии.

Пример 3.9.Построить модель, которая характеризует зависимость между показателем Уравнение линейной регрессии в матричной форме, факторами Уравнение линейной регрессии в матричной формеи Уравнение линейной регрессии в матричной форме. Провести анализ взаимосвязи на основе полученной модели.

Уравнение линейной регрессии в матричной форме2,723,042,842,892,582,642,522,752,63
Уравнение линейной регрессии в матричной форме15,613,515,314,915,116,116,715,417,1
Уравнение линейной регрессии в матричной форме106,3128,5121,2118,4108,4105,9

Решение.Оценим параметры модели по МНК. Выпишем основные матрицы, входящие в исследование:

Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме

Замечание.В матрице Уравнение линейной регрессии в матричной формевсегда первый столбец состоит из единиц – это связано с присутствием в уравнении свободного члена Уравнение линейной регрессии в матричной форме.

Уравнение линейной регрессии в матричной форме

Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме

Найдем обратную матрицу:

Уравнение линейной регрессии в матричной форме

Определим оценки параметров модели по формуле (3.4.11):

Уравнение линейной регрессии в матричной формеУравнение линейной регрессии в матричной форме

Таким образом, Уравнение линейной регрессии в матричной формеи искомая модель имеет вид:

Уравнение линейной регрессии в матричной форме.

Оценка коэффициентов уравнения

Оценку значимости коэффициентов уравнения также можно проводить на основе матричного подхода. Для этого вначале определяют дисперсии оценок параметров: Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме,…, Уравнение линейной регрессии в матричной форме. Эти величины будут диагональными элементами матрицы: Уравнение линейной регрессии в матричной форме. После этого устанавливают Уравнение линейной регрессии в матричной форме-статистики по коэффициентам:

Уравнение линейной регрессии в матричной форме, Уравнение линейной регрессии в матричной форме,…, Уравнение линейной регрессии в матричной форме………………….(3.4.11)

Для рассматриваемого примера 3.9 матрица Уравнение линейной регрессии в матричной формеизвестна. Если ее диагональные элементы умножить на Уравнение линейной регрессии в матричной форме= 0,011851, найденное по формуле (3.1.21) то получим такие результаты:

Уравнение линейной регрессии в матричной форме= 3,4739, Уравнение линейной регрессии в матричной форме= 1, 86385;

Уравнение линейной регрессии в матричной форме= 0,00397, Уравнение линейной регрессии в матричной форме= 0, 063021;

Уравнение линейной регрессии в матричной форме= 0,000072, Уравнение линейной регрессии в матричной форме= 0, 008485.

t – статистики Стьюдента, устанавливающие значимость коэффициентов регрессионного уравнения, определяются по формулам (3.4.11), и для рассматриваемого примера таковы:

Уравнение линейной регрессии в матричной форме;

Уравнение линейной регрессии в матричной форме;

Уравнение линейной регрессии в матричной форме.

Зададим уровень значимости Уравнение линейной регрессии в матричной форме, тогда

Уравнение линейной регрессии в матричной форме Уравнение линейной регрессии в матричной форме.

Сравнивая значения t-статистик, можно сделать вывод, что коэффициент Уравнение линейной регрессии в матричной формеявляется незначимыми.

При уровне значимости Уравнение линейной регрессии в матричной формеимеем Уравнение линейной регрессии в матричной форме, поэтому коэффициенты Уравнение линейной регрессии в матричной формеи Уравнение линейной регрессии в матричной форменезначимы в построенном уравнении регресси.

3.4.3. Построение множественной регрессионной модели с использованием EXCEL

Уравнение линейной регрессии можно построить в пакете электронных таблиц Excel .

В состав пакета Excel входит набор способов анализа данных, который называется Пакетом анализа и предназначен для решения различных заданий. Для ознакомления с этим пакетом, следует в меню окна Excel выбрать опцию Сервис и в появившемся меню нужно выбрать опцию Анализ данных.В результате получим окно (рисунок 3.2).

Уравнение линейной регрессии в матричной форме

Рисунок 3.2 – Окно Анализ данных

С помощью клавиш прокрутки можно выбрать любую из приведенных функций анализа.

Построение корреляционной матрицы

Пример 3.10. Построить корреляционную матрицу по следующим данным:

YX1

X2

X3
9,90,430,33,9
5,50,380,425,65
4,30,340,98,52
6,60,370,555,38
9,40,230,524,36
5,20,410,383,13
0,220,365,82

|следующая лекция ==>
Построение множественной линейной регрессии|Решение.

Не нашли то, что искали? Google вам в помощь!

📺 Видео

Лекция. Регуляризация в линейной регрессииСкачать

Лекция. Регуляризация в линейной регрессии

Как работает метод наименьших квадратов? Душкин объяснитСкачать

Как работает метод наименьших квадратов? Душкин объяснит

Метод наименьших квадратов. Линейная аппроксимацияСкачать

Метод наименьших квадратов. Линейная аппроксимация

Линейная регрессия в Python за 13 МИН для чайников [#Машинное Обучения от 16 летнего Школьника]Скачать

Линейная регрессия в Python за 13 МИН для чайников [#Машинное Обучения от 16 летнего Школьника]

Метод наименьших квадратов. Случай линейной регрессииСкачать

Метод наименьших квадратов. Случай линейной регрессии

Метод наименьших квадратов (МНК)Скачать

Метод наименьших квадратов (МНК)

Парная нелинейная регрессияСкачать

Парная нелинейная регрессия
Поделиться или сохранить к себе: