Бекларян Л.А., Флёрова А.Ю., Жукова А.А. Методы оптимального управления № 6

---

Предисловие к серии "Учебник Школы прикладной математики и информатики МФТИ" (А. М. Райгородский)				5
Введение				7
Лекция 1 Основная задача оптимального управления				12
1.1 Задача об остановке тележки				12
1.2 Упрощенная задача оптимального управления				14
1.3 Задача Лагранжа (задача (P1))				15
1.4 Задача вариационного исчисления				17
1.5 Задача со смешанным видом функционала (задача Больца)				18
1.6 Задача Больца (задача вариационного исчисления)				19
1.7 Задача о быстродействии				20
1.8 Задача оптимального управления с незакрепленным временем				21
Лекция 2 Принцип максимума Понтрягина. Лагранжев и гамильтонов формализмы				26
2.1 Задача вариационного исчисления (задача (P0 ))				26
2.2 Задача Лагранжа (задача (P1 ))				27
2.3 Упрощенная задача оптимального управления (задача (P))				29
2.4 Задача Больца (задача (P0 ))				30
2.5 Общая задача оптимального управления (задача (P))				31
2.6 Функция Лагранжа для задачи (P)				32
2.7 Принцип максимума Понтрягина для задачи (P). Гамильтонов формализм				35
Лекция 3 Доказательства принципа максимума Понтрягина. Часть 1				37
3.1 Задача вариационного исчисления (задача ( P0))				37
3.2 Задача Лагранжа (задача (P1 ))				44
Лекция 4 Доказательства принципа максимума Понтрягина. Часть 2				52
4.1 Упрощенная задача оптимального управления (задача (P))				52
Лекция 5 Задача вариационного исчисления. Необходимые и достаточные условия слабого и сильного экстремумов				61
Лекция 6 Линейные системы с квадратичным критерием качества				74
Лекция 7 Задача быстродействия. Теорема о конечном числе точек переключения				78
Лекция 8 Методы динамического программирования				82
Лекция 9 Достаточные условия Кротова				91
Лекция 10 Множество достижимости. Экстремальное управление. Критерий экстремального управления				94
Лекция 11 Управляемость, наблюдаемость, идентификация				98
11.1 Управляемость линейных систем				98
11.2 Наблюдаемые системы				104
11.3 Идентифицируемость				107
Лекция 12 Проблема существования оптимального управления				111
Лекция 13 Задача вариационного исчисления.Уравнение Гамильтона—Якоби. Интегральный инвариант Пуанкаре—Картана				127
Лекция 14 Особые управления				132
14.1 Скобки Пуассона				134
14.2 Случай одномерного управления				135
Лекция 15 Численные методы, основанные на редукции к задачам нелинейного программирования				141
15.1 Метод штрафных функций				143
15.2 Метод нагруженных функций				145
Приложение 1 Задачи				148
1 Интегралы уравнения Эйлера				148
2 Примеры				149
3 Задачи для самостоятельного решения				199
Литература				201

---

Физтех-школа прикладной математики и информатики (ФПМИ) — это активно развивающееся подразделение МФТИ, возникшее в результате успешного объединения двух факультетов — факультета управления и прикладной математики и факультета инноваций и высоких технологий.

Сейчас ФПМИ занимает лидерские позиции в России и в мире, давая своим студентам как традиционно мощное физтеховское фундаментальное образование, так и столь же традиционные для МФТИ выходы на самые современные прикладные задачи, возникающие в высокотехнологичной индустрии.

Разумеется, ФПМИ старается быть открытой всем. Например, в интернет-проекте «Лекторий ФПМИ» выложены записи многих лекций, читаемых в нашей Школе. В 2017 году был создан региональный научно-образовательный «Кавказский математический центр» в Майкопе, который получает постоянную поддержку от ФПМИ. А в 2021 году аналогичный проект стартовал в Пскове.

И это только начало! Мы мотивируем наших лучших студентов хотя бы на время возвращаться в регионы, в олимпиадное, кружковое и проектное движение для поддержки высокого уровня этого движения во всей нашей стране. Мы с удовольствием делимся с региональными вузами нашими программами в рамках6 Предисловие к серии сетевых образовательных проектов, инициируемых Физтехом и призванных помогать регионам удерживать у себя достаточно сильных абитуриентов.

И конечно, мы очень рады представить наше новое начинание — «Учебник Школы прикладной математики и информатики МФТИ». В серии книг наши ведущие специалисты поделятся своими знаниями и методическими наработками со студентами, аспирантами, учеными, педагогами и просто со всеми, кто любит математику и ее приложения, хочет оказаться на гребне знаний и увидеть далекую перспективу. Как я часто говорю в своих выступлениях: «Присоединяйтесь к нам!»

А. М. Райгородский, директор Школы прикладной математики и информатики МФТИ, заведующий кафедрой дискретной математики, профессор, доктор физико-математических наук

---

Лекционные курсы по методам оптимального управления читаются в последние тридцать с лишним лет. Вместе с тем они все время обновляются вследствие возникновения как новых классов задач, так и новых подходов по изложению устоявшихся разделов. При подготовке курса лекций всегда возникает выбор между более детальным изложением математических основ теории оптимального управления и более широким охватом исследуемых задач. Одним из способов преодоления подобного выбора может быть создание методического пособия с как можно более широким охватом рассматриваемых задач и схематичным изложением доказательств или комментариев. Такое изложение материала позволяет сформировать минимально разумный объем методического пособия. Данное пособие относится к пособиям такого типа и состоит из введения, пятнадцати лекций и приложения с разобранными задачами и примерами.

1-я лекция посвящена изложению различных постановок задачи оптимального управления. Среди них выделяются основные классы задач оптимального управления с закрепленным временем: задача вариационного исчисления; задача Лагранжа; упрощенная задача оптимального управления; задача с терминальным функционалом и терминальными ограничениями. Показано, что задача со смешанным видом функционала и ограничений с помощью простых замен (увеличение размерности пространства фазовых переменных) сводится к задаче с терминальным видом функционала и ограничений. Рассматривается также задача с незакрепленным временем. Показано, что с помощью перепараметризации переменной времени (увеличение размерности пространства управления) такая задача сводится к задаче оптимального управления с закрепленным временем. Определяются понятия сильного и слабого экстремумов.

Во 2-й лекции для рассматриваемых классов задач приводятся необходимые условия минимума функционала в виде принципа максимума Понтрягина, которые формулируются в терминах как лагранжева, так и гамильтонова формализмов.

В 3-й и 4-й лекциях даются доказательства принципа максимума Понтрягина. В случае задачи Лагранжа для вывода необходимых условий оказывается достаточным рассмотрение локальных вариаций управления. При этом для задачи со свободным правым концом достаточно рассмотреть одну локальную вариацию управления. Для задачи с закрепленными концами одной локальной вариации управления оказывается недостаточно. Приходится рассматривать семейство локальных вариаций (пакет локальных вариаций) управления. Для упрощенной задачи использование локальных вариаций управления является некорректным. Наиболее подходящим типом вариаций управления для такой задачи являются игольчатые вариации.

5-я лекция посвящена детальному исследованию наиболее простой задачи оптимального управления — задачи вариационного исчисления, которая при всей своей простоте охватывает широчайший класс задач аналитической механики. Необходимые условия в форме принципа максимума Понтрягина переформулируются в терминах исходной задачи вариационного исчисления (в терминах лагранжиана). Условие максимума функции

Понтрягина переформулировано в виде условия Вейерштрасса, из которого выводится условие Лежандра (необходимое условие сильного минимума). Из условия максимума функции Понтрягина выводится условие Вейерштрасса—Эрдмана. Для слабого минимума дается вывод необходимых условий и, в частности, условий Лежандра и Якоби. Сформулированы достаточные условия слабого и сильного минимумов.

В 6-й лекции рассматривается линейная система с квадратичным критерием качества. Для такой задачи принцип максимума Понтрягина является необходимым и достаточным условием сильного минимума. Этот факт указывает на полноту необходимых условий сильного минимума в форме принципа максимума Понтрягина для широкого класса задач оптимального управления.

В 7-й лекции рассматривается задача быстродействия как пример задачи оптимального управления с незакрепленным временем. Для такой задачи дается качественное описание оптимального управления.

В 8-й лекции, в отличие от предыдущих лекций, изучается не индивидуальная оптимальная пара для задачи оптимального управления, а исследуется семейство оптимальных пар как решения соответствующего семейства задач оптимального управления. Основным понятием при таком подходе является функция Беллмана. В случае хороших свойств функции Беллмана она удовлетворяет дифференциальному уравнению в частных производных и называется уравнением Гамильтона—Якоби—Беллмана.

Изучается связь между решением уравнения Гамильтона—Якоби—Беллмана и принципом максимума Понтрягина. Выводится достаточное условие того, чтобы решение уравнения Гамильтона—Якоби—Беллмана являлось функцией Беллмана.

В 9-й лекции приводятся достаточные условия Кротова для задачи оптимального управления, основанные на наличии функции с некоторыми заданными свойствами.

В 10-й лекции изучается понятие множества достижимости для линейной системы с квадратичным критерием качества. Дается определение экстремальности управления, имеющее геометрическую интерпретацию. Устанавливается, что свойство экстремальности управления эквивалентно выполнению принципа максимума Понтрягина.

В 11-й лекции изучается линейная управляемая система. Для нее определены важные понятия управляемости, наблюдаемости, идентифицируемости, а также даны их критерии. Важно, что указанные критерии формулируются в терминах исходной управляемой системы.

В 12-й лекции изучается важный вопрос существования оптимального управления. Простейшие примеры указывают на то, что в классе стандартных управлений (измеримых управлений) не существует оптимального управления. Для этого приходится расширять пространство управлений до класса скользящих режимов, которые являются нормированными мерами на исходном множестве стандартных управлений, являющемся ограниченным и замкнутым множеством. Содержательность такого расширения состоит в том, что всякий скользящий режим приближается (в пространстве мер) взвешенными суммами стандартных управлений. С другой стороны, всякая последовательность скользящих режимов, как функция со значениями в пространстве мер, слабо сходится. Это и является основным фактом, позволяющим доказать теорему о существовании оптимального скользящего режима. Для оптимального скользящего режима естественно выяснить, когда он становится стандартным оптимальным режимом. Для этого следует потребовать дополнительные ограничивающие условия для правой части дифференциальной связи. Такое условие вместе с леммой Филиппова и гарантирует существование стандартного оптимального управления.

К сожалению, условие на правую часть дифференциальной связи является весьма сильным. Даже для задачи вариационного исчисления оно выполняется только лишь в случае аффинного лагранжиана. А ведь известно, что в наиболее содержательных задачах вариационного исчисления лагранжиан является квадратичным (задачи аналитической механики). В силу сказанного поиск достаточных условий существования стандартного оптимального управления остается актуальным. В отличие от предыдущих параграфов, здесь мы рассматриваем стандартные управления не из класса кусочно-непрерывных функций, а из класса измеримых функций. В связи с этим изучается вопрос существования и единственности решения дифференциального уравнения, правая часть которой удовлетворяет условиям Каратеодори.

В 13-й лекции изучается вопрос существования стандартного оптимального решения для задачи вариационного исчисления, основанный на существовании функции Беллмана. Для задачи вариационного исчисления с лагранжианом, строго выпуклым по третьей переменной, существование функции Беллмана будет следовать из существования решения уравнения Гамильтона—Якоби. Это указывает на актуальность описания препятствий для существования решения уравнения Гамильтона—Якоби. В терминах дифференциальных форм приводится условие, эквивалентное существованию решения уравнения Гамильтона—Якоби.

В 14-й лекции изучается вопрос конструирования особых управлений. Это случай, когда условие максимума функции Понтрягина является неинформативным. Изучение особых управлений основано на технике скобок Пуассона. Сформулирован ряд условий, которым удовлетворяет особое управление.

В 15-й лекции рассматривается вопрос о приближенном решении задачи оптимального управления. Показано, что такая задача сводится к задаче нелинейного программирования. Для задачи нелинейного программирования рассматривается метод штрафных функций, а также метод нагруженного функционала.

В приложении разобраны решения задач по различным темам из лекций, а также приведены упражнения и задачи для самостоятельного решения.

По всем темам, затронутым в пособии, более полное изложение читатель может найти в литературе, приведенной в конце книги.

---