Как решить нелинейное уравнение в python (5 видео)

Численные методы решения систем нелинейных уравнений

Содержание

Введение
Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений
Методы решения систем нелинейных уравнений
Выбор модельной функции
Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней
Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона
Решение нелинейных уравнений в python
ОТВЕТЫ
Ответ 1
Настройка
Линейное решение
Нелинейное решение
Автономный Пример двух методов:
Как решить пару нелинейных уравнений с помощью Python?
7 ответов
🔥 Видео

Введение

Многие прикладные задачи приводят к необходимости нахождения общего решения системы нелинейных уравнений. Общего аналитического решения системы нелинейных уравнений не найдено. Существуют лишь численные методы.

Следует отметить интересный факт о том, что любая система уравнений над действительными числами может быть представлена одним равносильным уравнением, если взять все уравнения в форме , возвести их в квадрат и сложить.

Для численного решения применяются итерационные методы последовательных приближений (простой итерации) и метод Ньютона в различных модификациях. Итерационные процессы естественным образом обобщаются на случай системы нелинейных уравнений вида:

(1)

Обозначим через вектор неизвестных и определим вектор-функцию Тогда система (1) записывается в виде уравнения:

(2)

Теперь вернёмся к всеми любимому Python и отметим его первенство среди языков программирования, которые хотят изучать [1].

Этот факт является дополнительным стимулом рассмотрения числительных методов именно на Python. Однако, среди любителей Python бытует мнение, что специальные библиотечные функции, такие как scipy.optimize.root, spsolve_trianular, newton_krylov, являются самым лучшим выбором для решения задач численными методами.

С этим трудно не согласится хотя бы потому, что в том числе и разнообразие модулей подняло Python на вершину популярности. Однако, существуют случаи, когда даже при поверхностном рассмотрении использование прямых известных методов без применения специальных функций библиотеки SciPy тоже дают неплохие результаты. Иными словами, новое- это хорошо забытое старое.

Так, в публикации [2], на основании проведенных вычислительных экспериментов, доказано, что библиотечная функция newton_krylov, предназначенная для решения больших систем нелинейных уравнений, имеет в два раза меньшее быстродействие, чем алгоритм TSLS+WD
(two-step least squares), реализованный средствами библиотеки NumPy.

Целью настоящей публикации является сравнение по числу итераций, быстродействию, а главное, по результату решения модельной задачи в виде системы из ста нелинейных алгебраических уравнений при помощи библиотечной функции scipy.optimize.root и методом Ньютона, реализованного средствами библиотеки NumPy.

Возможности решателя scipy.optimize.root для численного решения систем алгебраических нелинейных уравнений

Библиотечная функция scipy.optimize.root выбрана в качестве базы сравнения, потому что имеет обширную библиотеку методов, пригодных для сравнительного анализа.

scipy.optimize.root(fun, x0, args=(), method=’hybr’, jac=None, tol=None,callback=None, ptions=None)
fun — Векторная функция для поиска корня.
x0 –Начальные условия поиска корней

method:
hybr -используется модификация Пауэлл гибридный метод;
lm – решает системы нелинейных уравнений методом наименьших квадратов.
Как следует из документации [3] методы broyden1, broyden2, anderson, linearmixing, diagbroyden, excitingmixing, krylov являются точными методами Ньютона. Остальные параметры являются «не обязательными» и с ними можно ознакомится в документации.

Методы решения систем нелинейных уравнений

Приведенный далее материал действительно можно прочитать в литературе, например в [4], но я уважаю своего читателя и для его удобства приведу вывод метода по возможности в сокращенном виде. Те, кто не любит формулы, этот раздел пропускают.

В методе Ньютона новое приближение для решения системы уравнений (2) определяется из решения системы линейных уравнений:

(3)

Определим матрицу Якоби:

(4)

Запишем(3) в виде:

(5)

Многие одношаговые методы для приближенного решения (2) по аналогии с двухслойными итерационными методами для решения систем линейных алгебраических уравнений можно записать в виде:

(6)

где — итерационные параметры, a — квадратная матрица n х n, имеющая обратную.

При использовании записи (6) метод Ньютона (5) соответствует выбору:

Система линейных уравнений (5) для нахождения нового приближения может решаться итерационно. В этом случае мы имеем двухступенчатый итерационный процесс с внешними и внутренними итерациями. Например, внешний итерационный процесс может осуществляться по методу Ньютона, а внутренние итерации — на основе итерационного метода Зейделя

При решении систем нелинейных уравнений можно использовать прямые аналоги стандартных итерационных методов, которые применяются для решения систем линейных уравнений. Нелинейный метод Зейделя применительно к решению (2) дает:

(7)

В этом случае каждую компоненту нового приближения из решения нелинейного уравнения, можно получить на основе метода простой итерации и метода Ньютона в различных модификациях. Тем самым снова приходим к двухступенчатому итерационному методу, в котором внешние итерации проводятся в соответствии с методом Зейделя, а внутренние — с методом Ньютона.

Основные вычислительные сложности применения метода Ньютона для приближенного решения систем нелинейных уравнений связаны с необходимостью решения линейной системы уравнений с матрицей Якоби на каждой итерации, причем от итерации к итерации эта матрица меняется. В модифицированном методе Ньютона матрица Якоби обращается только один раз:

(8)

Выбор модельной функции

Такой выбор не является простой задачей, поскольку при увеличении числа уравнений в системе в соответствии с ростом числа переменных результат решения не должен меняться, поскольку в противном случае невозможно отследить правильность решения системы уравнений при сравнении двух методов. Привожу следующее решение для модельной функции:

Функция f создаёт систему из n нелинейных уравнений, решение которой не зависит от числа уравнений и для каждой из n переменных равно единице.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью библиотечной функции optimize.root для разных методов отыскания корней

Только один из методов, приведенных в документации [3] прошёл тестирование по результату решения модельной функции, это метод ‘krylov’.

Решение для n=100:

Вывод: С увеличением числа уравнений вдвое заметно появление ошибок в решении. При дальнейшем увеличении n решение становится не приемлемым, что возможно из-за автоматической адаптации к шагу, эта же причина резкого падения быстродействия. Но это только моё предположение.

Программа для тестирования на модельной функции c результатами решения системы алгебраических нелинейных уравнений с помощью программы написанной на Python 3 с учётом соотношений (1)-(8) для отыскания корней по модифицированному методу Ньютона

Решение для n=100:

Решение для n=200:

Solution:
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1.]
Newton iteration = 14
Newton method time 1.869 seconds

Чтобы убедиться в том, что программа действительно решает систему, перепишем модельную функцию для ухода от корня со значением 1 в виде:

Получим:
Solution:
[ 0.96472166 0.87777036 0.48175823 -0.26190496 -0.63693762 0.49232062
-1.31649896 0.6865098 0.89609091 0.98509235]
Newton iteration = 16
Newton method time 0.046 seconds

Вывод: Программа работает и при изменении модельной функции.

Теперь вернёмся к начальной модельной функции и проверим более широкий диапазон для n, например в 2 и 500.
n=2
Solution:
[1. 1.]
Newton iteration = 6
Newton method time 0.048 seconds
n=500

Видео:Численные методы (1 урок)(Решение нелинейных уравнений. Метод дихотомии. Python)Скачать

Решение нелинейных уравнений в python

У меня есть 4 нелинейных уравнения с тремя неизвестными X , Y и Z , для которых я хочу решить. Уравнения имеют вид:

. где a , b и c — это константы, зависящие от каждого значения F в четырех уравнениях.

Каков наилучший способ решить это?

Видео:Решение n го нелинейных алгебраических уравнений в PythonСкачать

ОТВЕТЫ

Ответ 1

Есть два способа сделать это.

Используйте нелинейный решатель
Линеаризовать проблему и решить ее в смысле наименьших квадратов

Видео:Решение 1 го нелинейного алгебраического уравнения в PythonСкачать

Настройка

Итак, насколько я понимаю ваш вопрос, вы знаете F, a, b и c в 4 разных точках, и вы хотите инвертировать параметры модели X, Y и Z. У нас есть 3 неизвестных и 4 наблюдаемых данных точек, поэтому проблема переопределена. Поэтому мы будем решать в наименьшем квадрате смысл.

В этом случае более распространено использование противоположной терминологии, поэтому позвольте перевернуть свое уравнение вокруг. Вместо:

Где мы знаем F , X , Y и Z в 4 разных точках (например, F_0, F_1, . F_i ).

Мы просто меняем имена переменных, а не само уравнение. (Это больше для моей легкости мышления, чем что-либо еще.)

Видео:Решение нелинейного уравнения методом простых итераций (программа)Скачать

Линейное решение

Фактически можно линеаризовать это уравнение. Вы можете легко решить для a^2 , b^2 , a b cos(c) и a b sin(c) . Чтобы сделать это немного проще, давайте снова переделаем вещи:

Теперь уравнение намного проще: F_i = d + e X_i + f Y_i + g Z_i . Легко сделать линейную инверсию наименьших квадратов для d , e , F и g . Тогда мы можем получить a , b и c из:

Хорошо, напишите это в матричной форме. Мы собираемся перевести 4 наблюдения (код, который мы напишем, будет занимать любое количество наблюдений, но пусть он будет оставаться конкретным в данный момент):

Или: F = G * m (я геофизик, поэтому мы используем g для «зеленых функций» и m для «параметров модели». Обычно мы использовали d для «данных» вместо F .)

В python это будет выглядеть так:

Видео:Python для самых маленьких. Линейные уравнения. Решение задачСкачать

Нелинейное решение

Вы также можете решить эту проблему, используя scipy.optimize , как предположил @Joe. Наиболее доступной функцией в scipy.optimize является scipy.optimize.curve_fit , которая по умолчанию использует метод Levenberg-Marquardt.

Levenberg-Marquardt — это алгоритм «восхождения на холм» (ну, в данном случае он идет вниз, но этот термин используется в любом случае). В некотором смысле вы делаете первоначальное предположение о параметрах модели (все по умолчанию в scipy.optimize ) и следуете по склону observed — predicted в вашем пространстве параметров вниз донизу.

Предостережение: Выбор правильного метода нелинейной инверсии, первоначальная догадка и настройка параметров метода — это очень «темное искусство». Вы только учитесь этому, делая это, и есть много ситуаций, когда вещи не будут работать должным образом. Levenberg-Marquardt — хороший общий метод, если пространство параметров довольно гладкое (это должно быть). Есть много других (включая генетические алгоритмы, нейронные сети и т.д. В дополнение к более распространенным методам, таким как имитированный отжиг), которые лучше в других ситуациях. Я не собираюсь вникать в эту часть здесь.

Существует одна общая информация о том, что некоторые инструменты оптимизации пытаются исправить, что scipy.optimize не пытается обрабатывать. Если ваши параметры модели имеют разные величины (например, a=1, b=1000, c=1e-8 ), вам нужно будет перемасштабировать вещи так, чтобы они были одинаковыми по величине. Иначе scipy.optimize «алгоритмы подъема холма» (например, LM) не будут точно рассчитать оценку локального градиента и дадут дико неточные результаты. На данный момент я предполагаю, что a , b и c имеют относительно близкие значения. Кроме того, имейте в виду, что по существу все нелинейные методы требуют от вас первоначального предположения и чувствительны к этой догадки. Я оставляю его ниже (просто передайте его как p0 kwarg на curve_fit ), потому что по умолчанию a, b, c = 1, 1, 1 является довольно точным предположением для a, b, c = 3, 2, 1 .

С учетом предостережений curve_fit ожидает, что будет передана функция, набор точек, в которых были сделаны наблюдения (как один массив ndim x npoints ), и наблюдаемые значения.

Итак, если мы напишем такую функцию:

Нам нужно обернуть его, чтобы принять несколько разные аргументы, прежде чем передавать его на curve_fit .

Видео:34 Задача: Найти корни квадратного уравнения при помощи PythonСкачать

Автономный Пример двух методов:

Чтобы дать вам полную реализацию, вот пример, который

генерирует случайно распределенные точки для оценки функции on,
оценивает функцию в этих точках (используя параметры модели набора),
добавляет шум к результатам,
а затем инвертирует параметры модели, используя описанные выше линейные и нелинейные методы.

Видео:Как решить линейное и квадратное уравнение в Python?Скачать

Как решить пару нелинейных уравнений с помощью Python?

каков (лучший) способ решить a пара нелинейных уравнений с использованием Python. (Numpy, Scipy или Sympy)

фрагмент кода, который решает вышеуказанную пару, будет отличным

Видео:Метод Ньютона (метод касательных) Пример РешенияСкачать

7 ответов

для численного решения, вы можете использовать fsolve:

Если вы предпочитаете sympy вы можете использовать nsolve.

первый аргумент-это список уравнений, второй-список переменных, а третий-начальная догадка.

попробуйте этот, я уверяю вас, что он будет работать отлично.

к вашему сведению. как упоминалось выше, вы также можете использовать «приближение Бройдена», заменив «fsolve» на «broyden1». Это работает. Я сделал это.

Я точно не знаю, как работает приближение Бройдена, но это заняло 0.02 s.

и я рекомендую вам не использовать функции Sympy

вы можете использовать пакет openopt и его метод NLP. Он имеет много алгоритмов динамического программирования для решения нелинейных алгебраических уравнений, состоящих из:
goldenSection, scipy_fminbound, scipy_bfgs, scipy_cg, scipy_ncg, amsg2p, scipy_lbfgsb, scipy_tnc, bobyqa, ralg, ipopt, scipy_slsqp, scipy_cobyla, lincher, algencan, который вы можете выбрать.
Некоторые из последних алгоритмов могут решить ограниченную задачу нелинейного программирования. Итак, вы можете представить свою систему уравнения для openopt.НЛП () С такой функцией:

lambda x: x[0] + x[1]**2 — 4, np.exp(x[0]) + x[0]*x[1]

Я получил метод Бройдена для работы для связанных нелинейных уравнений (обычно с полиномами и экспонентами) в IDL, но я не пробовал его в Python: