Решение уравнения гамильтона якоби беллмана

Видео:Степаньянц К. В. - Теоретическая механика II - Метод Гамильтона - ЯкобиСкачать

Решение уравнения гамильтона якоби беллмана

Определим гамильтонианы ( i =1,2), где следующим образом:

и функцию

Далее будет доказано, что функция цены V является единственным вязким решением на множестве уравнения

(где — градиент функции V ), называемого уравнением Гамильтона-Якоби (Беллмана) (далее для краткости будем называть его уравнением Гамильтона-Якоби). Аппарат вязких решений, используемый ниже, восходит к работам [5], [8]. Аналогичный подход к задачам оптимизации используется в [7], [9]. Существенным отличием данной работы являются более общий вид функционала, а также возможность отказа от вспомогательнной задачи импульсного расширения (см. [9]).

Приведем из [8] определение вязкого решения. Нам понадобятся следующие обозначения: если то

если (соответственно ), то

(Множества и называются, соответственно, супер- и субдифференциалами функции в точке , а их элементы — супер- и субградиентами).

Определение 4.1. Непрерывная на множестве функция называется вязким верхним (нижним) решением уравнения , если

функция удовлетворяющая одновременно и , называется вязким решением .

Теорема 4.1. Пусть выполнены условия (А) и (Б). Тогда

функция цены V есть единственное вязкое решение на множестве уравнения ;

V удовлетворяет краевым условиям и .

Доказательство. Покажем сначала, что V — нижнее решение. Пусть и т.е., существуют число и непрерывная на функция такие, что

для всех Ясно, что функция F ( y ) дифференцируема в точке и

Из второго равенства метода динамического программирования мы имеем для всех

Перенесем в правую часть неравенства, разделим обе части на и устремим к нулю. Нетрудно убедиться в том, что при для всех В силу дифференцируемости функции F в точке получаем:

Осталось показать, что Пусть на . Из (3.1) для любого мы имеем:

Заметим, что для подобных управлений траектория есть решение задачи Коши

Разделим неравенство (4.4) на s и устремим s к нулю, получая

что и требовалось доказать.

Остается проверить, что V — верхнее решение уравнения (4.1). Пусть и пусть т.е., существуют число и непрерывная на функция такие, что

для всех Требуется доказать, что либо либо

Из (3.2) мы имеем:

для некоторых Допустим, т.е. импульсное управление оптимально. Пользуясь следствием 1 из Леммы 3.1, получаем для всех

Следовательно,

Как и раньше, разделим на и в пределе при получим:

Используя обратный ход рассуждений, из неравенства

получаем

для всех Иными словами, оптимальное управление непрерывно на интервале для некоторого

Покажем, что если справедливо (4.5), то

Предположим противное, т.е.

Пусть — оптимальное непрерывное на управление; введем обозначение и рассмотрим разность Согласно (4.6) и свойствам интеграла Лебега-Стилтьеса [4], справедливо следующее:

Введем обозначения: пусть

и

Рассмотрим интеграл

Разобьем интервал на подинтервалы так, чтобы на каждом из указанных подинтервалов все компоненты вектор-функции были монотонны. Тогда для всех мы имеем:

где если не убывает на ( если не возрастает на ), и

Справедливо следующее равенство:

где — некоторая непрерывная функция, причем для всех

Положим Тогда

Следовательно,

Нетрудно проверить, что обе суммы в (4.7) неотрицательны. Таким образом,

Данное неравенство противоречит оптимальности управления на т.е. что и требовалось доказать.

Остается отметить, что уравнение (4.1) удовлетворяет требованиям теорем единственности решения уравнения Гамильтона-Якоби (см., например, [5], [6], [8]).

Предложение 4.1. Уравнение эквивалентно в смысле теории вязких решений уравнению

где

Доказательство. Далее будем пользоваться эквивалентным определением вязкого решения, использующим приближение с помощью гладких функций (см., например, [7], [9]).

Пусть функция V — вязкое решение (4.1) на множестве . Очевидно, что в этом случае V является нижним решением для (4.8) на . Остается проверить, что V есть верхнее решение (4.8). Итак, пусть функция — гладкая и достигает локального минимума, равного нулю, в точке Тогда по определению вязкого решения,

где

Если то Значит, по определению гамильтониана V — верхнее решение в точке уравнения (4.8). С другой стороны, пусть Тогда исходя из (4.8), мы имеем: Следовательно, V — вязкое верхнее решение (4.8) на всем множестве

Тот факт, что вязкое решение (4.8) является вязким решением (4.1), доказывается аналогично.

Поскольку решения V и W уравнений (4.1) и (4.8) единственны на множестве они тождественно совпадают в этой области.

Следствие 1. Помимо и , функция цены V удовлетворяет в смысле теории вязких решений уравнению

где и

Уравнение (4.9) подробно изучалось в работе [9].

Замечание. Уравнения (4.1), (4.8) и (4.9) позволяют в некоторых случаях судить об оптимальности того или иного управления. Допустим W ( y )= W ( t , x , v , k ) — произвольное вязкое решение уравнения Гамильтона-Якоби на множестве , удовлетворяющее краевому и граничному условиям (2.7) и (2.8).

a) Пусть — точка дифференцируемости функции W ( y ). Если то постоянное управление оптимально на некотором интервале s >0. Если то скачок управления в момент является оптимальным.

б) Пусть — точка субдифференцируемости функции W ( y ), — субградиент. Если то постоянное управление является оптимальным на некотором интервале s >0; если то импульсное управление оптимально.

в) Наконец, пусть — точка супердифференцируемости функции W ( y ), и — суперградиент. Тогда можно судить о неоптимальности импульсного и постоянного управлений (соответственно, при и )

Более детально связь между решением уравнения Гамильтона-Якоби (4.9) и оптимальностью данного конкретного управления рассматривается в работе [9].

Присутствие бесконечности в уравнении (4.8) объясняется скачками управления: мгновенное изменение влечет бесконечную производную по времени.

Видео:Уравнения Гамильтона (динамика)Скачать

Уравнение Гамильтона-Якоби — Методы решения уравнения Гамильтона–Якоби

Видео:Принцип оптимальности БеллманаСкачать

Уравнение Гамильтона-Якоби

• Уравнение Гамильтона-Якоби. § 43. Понятие действия как функция коор Ужин и время. Было показано, что частная производная по времени этой функции S (q, t) связана с функцией Гамильтона соотношением ^ + H (q, p, t) = 0, Частная производная по координатам согласуется с импульсом.

Замена импульса p функции Гамильтона на дифференциал dS / dq соответственно приводит к уравнению. -ds. И (ds ds * Ln (A * 7n + H (q1, …, qs; -; j = 0, Какая функция S (q, t) должна удовлетворять. Это уравнение в частных производных первого порядка. Это называется уравнением Гамильтона-Якоби.

уравнение Гамильтона-Якоби имеет вид Общий способ интегрировать уравнение движения Людмила Фирмаль

Помимо лагранжевых и канонических уравнений, . Возвращаясь к описанию этого метода, сначала напомним, что первое уравнение в частных производных имеет решение, зависящее от произвольной функции.

Такое решение называется общим интегралом уравнения. Однако в машинных приложениях основной Роль не является общим интегралом уравнения Гамильтона-Якоби, Так называемый совершенный интеграл — это имя решения уравнения в частных производных, которое содержит такое же количество независимых констант, что и число независимых переменных.

• В уравнении Гамильтона-Якоби независимая переменная ми это время и координаты. Так что для систем с По степени свободы полный интеграл этого уравнения должен содержать произвольную постоянную 5 + 1. Кроме того, поскольку функция S входит в уравнение только через свои производные, Тогда одна из произвольных постоянных включается в аддитивно полное интегрирование.

Полная интеграция уравнений Форма Гамильтона Якоби s = f (t, Людмила Фирмаль

Для этого канонические преобразования из q, p / (Ј, q, σ) и выберите величину ai, (X2, …, cx5 в качестве нового импульса. Новые координаты обозначены s.

Потому что мы зависим от Необходимо использовать выражение (45.8). D). _ d / o _ df tg! _ T T I & f P r% ‘^ d o’ ’+ 3 t ‘ Но так как функция / удовлетворяет уравнению, Вы можете видеть Гамильтона Якоби, а затем исчезает и новая функция Гамильтона: я = я +! = я + х = ° — Таким образом, новое переменное каноническое уравнение является нефть = 0, (3r = 0, ots = const, (3 ^ = const. (47,3)

Между тем, уравнение S ^ doc = p6 * s-координата q может быть выражена во времени и 25 Постоянные os и (3. Поэтому находим общий интеграл уравнения движения. Следовательно, решение проблемы механического движения Система Гамильтона-Якоби сводится к следующей операции.

Функция Гамильтона составляет уравнение Гамильтона Он-Якоби является полным интегралом (47.2) этого уравнения. Продифференцируем по произвольной постоянной a, чтобы получить новую постоянную (3, систему алгебраических уравнений. E. = E. (».4) Решение этого находит координату q как функцию времени и 25 Любая константа.

Зависимость импульса от времени можно определить по уравнению = OS / dqi. Если существует неполный интеграл уравнения Гамильтона, Якоби, зависит от любой константы, меньшей s, но с ее помощью невозможно найти общий интеграл Хотя это уравнение движения, его можно немного упростить. Discovery.

Так что, если мы знаем функцию S ‘, которая содержит произвольную константу а, 8 секунд — = const доктор Дайте одно уравнение, связанное с gi, …, qs, t. Уравнение Гамильтона-Якоби занимает еще несколько Простая форма, когда функция явно не зависит от времени, то есть система является консервативной. Зависимость действия от времени — «Et: S = S0 (q) -E t (47,5) (См. §44) и заменяя (47.1) Уравнение действия Гамильтона-Якоби So (q) вида (47-б)

Если вам потребуется помощь по физике вы всегда можете написать мне в whatsapp.

Образовательный сайт для студентов и школьников

Копирование материалов сайта возможно только с указанием активной ссылки «www.lfirmal.com» в качестве источника.

© Фирмаль Людмила Анатольевна — официальный сайт преподавателя математического факультета Дальневосточного государственного физико-технического института

Видео:Семинар №8 "Уравнение Гамильтона-Якоби"Скачать

Два подхода к структуре решения уравнения Гамильтона-Якоби-Беллмана и его сингулярным характеристикам Текст научной статьи по специальности « Математика»

Видео:BP2-3-3-08 Алгоритм Форда-БеллманаСкачать

Аннотация научной статьи по математике, автор научной работы — Родин Алексей Семёнович

Изучается структура решения уравнения Гамильтона-Якоби-Беллмана , когда гамильтониан непрерывно дифференцируем по всем компонентам. Исследование структуры решения данной задачи планируется провести в русле методов описанных в книге А.А. Меликяна.

Видео:Механика №14. Уравнение Гамильтона-Якоби.Скачать

Похожие темы научных работ по математике , автор научной работы — Родин Алексей Семёнович

Видео:Алгоритм Форда-Беллмана и SPFAСкачать

TWO APPROACHES TO THE STRUCTURE OF THE SOLUTION TO THE HAMILTON-JACOBI-BELLMAN EQUATION AND ITS SINGULAR CHARACTERISTICS

The structure of the solution to the Hamilton-Jacobi-Bellman equation when the Hamiltonian is continuously differentiable by all components is studied. Research of the structure of the solution to such a problem is planned to conduct within the framework of the methods described in the book by A.A. Melikyan.

Видео:Семинар: Уравнение Гамильтона — Якоби (Часть 1(4): Теория)Скачать

Текст научной работы на тему «Два подхода к структуре решения уравнения Гамильтона-Якоби-Беллмана и его сингулярным характеристикам»

into equations in the subspaces. The formula for the control, the use of which corresponds to the desired output function, is constructed.

Key words: observing system; state function; control, output function.

Раецкая Елена Владимировна, Воронежский государственный лесотехнический университет им. Г.Ф. Морозова, г. Воронеж, Российская Федерация, кандидат физико-математических наук, доцент кафедры математики, e-mail: raetskaya@inbox.ru

Raetskaya Elena Vladimirovna, Morozov Voronezh State Forestry Engineering University, Voronezh, the Russian Federation, Candidate of Physics and Mathematics, Associate Professor of the Mathematics Department, e-mail: raetskaya@inbox.ru

Зубова Светлана Петровна, Воронежский государственный университет, г. Воронеж, Российская Федерация, доктор физико-математических наук, доцент кафедры математического анализа, e-mail: spzubova@mail.ru.

Zubova Svetlana Petrovna, Voronezh State University, Voronezh, the Russian Federation, Doctor of Physics and Mathematics, Associate Professor of the Mathematical Analysis Department, e-mail: spzubova@mail.ru

ДВА ПОДХОДА К СТРУКТУРЕ РЕШЕНИЯ УРАВНЕНИЯ ГАМИЛЬТОНА-ЯКОБИ-БЕЛЛМАНА И ЕГО СИНГУЛЯРНЫМ

Ключевые слова: уравнение Гамильтона-Якоби-Беллмана; сингулярное множество; сингулярная характеристика; метод сингулярных характеристик.

Изучается структура решения уравнения Гамильтона-Якоби-Беллмана, когда гамильтониан непрерывно дифференцируем по всем компонентам. Исследование структуры решения данной задачи планируется провести в русле методов описанных в книге А.А. Меликяна.

Рассматривается краевая задача Коши для уравнения Гамильтона-Якоби-Беллмана

ММ + H (t,x,D^(t,x)) =0, p(T,x) = a(x), (1)

где t € [0,T] , x € Rn , D^(t,x) = (^, W >•••> •

Предполагается, что в задаче (1) выполнены следующие предположения: A1) функция H(t,x,s) непрерывно дифференцируема по переменным t,x,s , вогнута по переменной s;

A2) функция ct(x) непрерывно дифференцируема; A3) выполнены условия подлинейного роста:

Характеристическая система с краевыми условиями при t = T для задачи (1) имеет вид

Х = DSH(t,x,s), S = -DXH(t,x,s), 1 = (s,DsH(t,x,s)) — H(t,x,s), x(T,£) = s(T,£) = Dxa(0, s(T,£) = a(£), V £ € Rn.

Решения этой системы x, s, z называются, соответственно, фазовыми, импульсными, ценовыми характеристиками уравнения Гамильтона-Якоби-Беллмана.

Рассматривается кусочно-гладкое обобщенное (минимаксное) решение ф(-) задачи (1) [1].

Определение1 [2, 3]. Сингулярным множеством Q для обобщенного решения ф(-) задачи (1) называется множество точек (t,x) € Пу , в которых функция не дифференцируема.

Определение2. Сингулярной характеристикой называется характеристика, фазовая компонента x(-) которой лежит в сингулярном множестве с некоторого момента.

Пусть M[k] — подмногообразие из конечного набора многообразий, образующих сингулярное множество Q , размерность которого равна (n + 1 — k).

Теорема1. Если в задаче (1) выполнены условия A1 — A3, (t, x) € M[k] , 1 ^ k ^ n, и гамильтониан H зависит только от переменной s, то не существует сингулярных характеристик.

Замечание 1. В случае, когда гамильтониан H зависит не только от s, а еще хотя бы от t или от x, то может существовать сингулярная характеристика. При этом к фазовой компоненте этой характеристики фазовые компоненты других характеристик подходят по касательной.

Опираясь на книгу [4], и на изложенный в ней метод сингулярных характеристик планируется продемонстрировать данный метод при исследовании структуры решения задачи (1).

1. Субботин А.И. Обобщенные решения уравнения в частных производных первого порядка: перспективы динамической оптимизации. М.; Ижевск: Ин-т комп. исследований, 2003.

2. Субботина Н.Н., Колпакова Е.А., Токманцев Т.Б., Шагалова Л.Г. Метод характеристик для уравнения Гамильтона-Якоби-Беллмана. Екатеринбург: Изд-во УрО РАН, 2013.

3. Колпакова Е.А. Обобщённый метод характеристик в теории уравнений Гамильтона-Якоби и законов сохранения // Тр. Ин-та математики и механики УрО РАН. 2010. Т. 16. № 5. С. 95-98.

4. Меликян А.А. Обобщенные характеристики уравнений в частных производных первого порядка. М.; Ижевск: Ин-т комп. исследований, 2014.

БЛАГОДАРНОСТИ: Работа выполнена при поддержке РФФИ (грант №14-01-00168).

Поступила в редакцию 9 июня 2015 г.

Rodin A.S. TWO APPROACHES TO THE STRUCTURE OF THE SOLUTION TO THE HAMIL-TON-JACOBI-BELLMAN EQUATION AND ITS SINGULAR CHARACTERISTICS

The structure of the solution to the Hamilton-Jacobi-Bellman equation when the Hamiltonian is continuously differentiable by all components is studied. Research of the structure of the solution to such a problem is planned to conduct within the framework of the methods described in the book by A.A. Melikyan.

Key words: the equation of Hamilton-Jacobi-Bellmana; singular set; singular characteristic; method of singular characteristics.

Родин Алексей Семёнович, Институт математики и механики УрО РАН, Уральский федеральный университет имени первого Президента России Б.Н. Ельцина, г. Екатеринбург, Российская Федерация, аспирант, e-mail: alexey.rodin.ekb@gmail.com

Rodin Aleksey Semenovich, Institute for Mathematics and Mechanics of UB RAS, Ural Federal University named after the first President of Russia B.N. Yeltsin, Ekaterinburg, the Russian Federation, Post-graduate Student, e-mail: alexey.rodin.ekb@gmail.com

УДК 519.651 + 517.518.823

О РЕШЕНИИ ДВУХ ЗАДАЧ ОПТИМИЗАЦИИ, ПОРОЖДЕННЫХ ПРОСТЕЙШИМ ВОЛНОВЫМ УРАВНЕНИЕМ

© В.И. Родионов, Н.В. Родионова

Ключевые слова: интерполяция; аппроксимирующий сплайн; многочлены Чебышёва. Предлагаемый авторами метод построения разностных схем основан на минимизации функционала невязки, заданного в пространстве специальных многомерных сплайнов произвольной степени. Эффективность метода показана на примере простейшего волнового уравнения.

Работа развивает авторский метод построения экономичных разностных схем для решения простейших задач математической физики [1] и опирается на публикации 3.

Уравнение и^ = си^, заданное в прямоугольнике, заменой переменных приводится к виду а и« = Ь и^ (в терминах новых переменных из квадрата П = [0,1]2 ). Пусть числа а, Ь положительны, а непрерывные функции ф, ро, р1: [0,1] ^ М таковы, что ф(0) = ро(0), ф(1) = р1 (0) и существуют производные р0(0), р1(0), р0′(0), р1′(0).

Решение и = и(£, £), (£,£) € П, задачи

а и« = Ьи. и(0,£) = ф(£), щ(0,£) = ^(£), и(£, 0) = ро(^), и(£, 1) = р^) представимо в виде и = и1 + и2, где и1 = и1^,£), и2 = и2(£, £) — это решения задач аий = Ьи. и(0,£) = ф(£) — ф(£), щ(0,£) = ^(£) — ф Надоели баннеры? Вы всегда можете отключить рекламу.

🎥 Видео

ТФКП. Проверить условия Коши-Римана. Выяснить является ли функция аналитической.Скачать

Функция Беллмана и оценка интегральных функционалов | Павел Затицкий | ЛекториумСкачать

01.11.2022 || Наследственные уравнения Гамильтона—Якоби: Минимаксное решениеСкачать

Уравнение Гамильтона — Якоби, семинар 8, Сахаров А ВСкачать

Органика. Решение задачи на определение состава вещества по продуктам его сгорания.Скачать

M6. Канонические уравнения Гамильтона. Переменные действие-уголСкачать

Уравнение Беллмана в задаче управления инвестициями в модели с трансакционными издержкамиСкачать

Метод Ньютона (метод касательных) Пример РешенияСкачать

Свойства функции. Промежутки знакопостоянства. 10 класс.Скачать

Метод Зейделя Пример РешенияСкачать

Принцип наименьшего действия #2 - Уравнение Эйлера-ЛагранжаСкачать

Лекция 15 | Введение в теорию функции Беллмана | Василий Васюнин | ЛекториумСкачать