Квазиградиентные методы решения задач оптимального управления

Проблемы управления и оптимизации являются естественными и необходимыми элементами исследований во многих областях науки, техники и экономики. В настоящее время теория оптимального управления может служить хорошим примером гармоничного сочетания фундаментальных математических разработок с актуальными прикладными проблемами.

Необходимые условия оптимальности традиционно составляют приоритетное направление исследований в теории управления. По прежнему, ведущим результатом в этой области является принцип максимума Л.С.Понтря-гина [51], который на протяжении многих лет служит активным стимулом для исследований по оптимальному управлению. Теория принципа максимума для неклассических (анормальных, вырожденных, разрывных, импульсных) задач оптимального управления оформилась как самостоятельное научное направление с широким спектром фундаментальных результатов (9], [10], [11], [29], [30], [47]. Альтернативно примыкающее направление исследований связано с достаточными условиями оптимальности в общих нелинейных задачах [28], [36], [69] и невыпуклых задачах специальной структуры [58], [59].

Проблема вычислительных (итерационных) методов оптимального управления традиционно связана с условиями оптимальности и ориентирована на использование типовых конструкций и аппроксимаций, полученных в рамках качественной теории.

Актуальность этой проблемы определяется, в первую очередь, необходимостью надежного и обоснованного решения новых, все более сложных прикладных задач оптимального управления (динамика полета, физико-технические процессы, экономические модели, экология, медицина и др.) на базе современной вычислительной техники. С другой стороны, не менее важной является необходимость проведения фундаментальных исследований по дальнейшему развитию конструктивной теории вычислительных методов оптимального управления (расширение классов решаемых задач, обоснованная работа с вырожденными задачами, проблема поиска глобальных решений в невыпуклых задачах и др.).

К настоящему времени определились разнообразные подходы к численному решению задач оптимального управления в обыкновенных динамических системах. Проведем обзорное изложение соответствующих методов для задач оптимального управления со свободным правым концом (без ограничений на состояние), которые являются основным объектом исследований в данной диссертации.

В первую очередь, выделим методы, полученные на основе необходимых условий оптимальности. Здесь наиболее эффективным средством для построения вычислительных процедур служит принцип максимума Понтря-гина. Первоисточником соответствующего класса методов является, конечно, метод последовательных приближений Крылова И. А., Черноусько Ф. Л. [38], [39], который заложил основу для процедур игольчатого варьирования в задачах оптимального управления. Дальнейшие исследования в этом направлении привели к своеобразным процедурам варьирования управления, которые позволили обеспечить свойство монотонности метода по функционалу и обосновать сходимость последовательных приближений по невязке принципа максимума (Габасов Р., Кирилова Ф. М. [23], Кирин Н. Е. [34],[35], Васильев О. В., Тятюшкин А. И., Терлецкий В. А., Аргучинцев А. В [6]-[8], [12], [16]-[20], [85], Любушин A.A., Черноусько Ф. Л. [40], [65], Mayne D., Polak Е. [77], Тео K.L., Yeo L.T. [84] и др.). Проведенные разработки явились заметным достижением в области вычислительных методов оптимального управления. В результате сложился комплекс алгоритмов игольчатого варьирования с единой операцией поиска вспомогательного управления (направление спуска) из условия максимума функции Понтрягина. Определенный итог этому направлению исследований подведен в работах Срочко В. А. [52], [54], где обоснован оптимальный способ игольчатого варьирования управлений в методах, основанных на принципе максимума.

Следующую группу методов составляют градиентные процедуры оптимального управления, имеющие в своей основе следствия принципа максимума (дифференциальный принцип максимума, условие стационарности гамильтониана) и использующие классический способ слабого варьирования управлений. В этой связи укажем работы [12], [15], [19], [21], [48]-[50], [62], [66], [71]-[73], [75], [78], [79]. Обстоятельный численный анализ методов градиентного типа (решение прикладных задач) проведен Федоренко Р. П. [62]. Вопросы обоснования градиентных процедур в задачах оптимального управления (сходимость, регуляризация) рассмотрены в монографии Васильева Ф. П. [21].

По части сопоставления методов игольчатого и слабого варьирования отметим следующее.

1) Методы игольчатого варьирования действуют в условиях дифферен-цируемости задачи только по состоянию (предположения принципа максимума). Методы слабого варьирования требуют гладкости задачи по состоянию и по управлению.

2) Множество стационарных управлений для методов игольчатого варьирования (управления, удовлетворяющие принципу максимума) является минимальным (по включению) в сравнении с классами стационарных режимов для методов слабого варьирования.

3) Вспомогательная задача методов игольчатого варьирования (на максимум функции Понтрягина) является, вообще говоря, более сложной для аналитического решения, чем вспомогательные задачи методов градиентного типа (на максимум линейной либо квадратичной функций).

4) К недостаткам методов игольчатого варьирования следует отнести скачкообразный характер варьирования, что в процессе итераций может привести к неоправданному увеличению точек разрыва получаемых управлений (участки пошаговых переключений, неприемлемый с практической точки зрения результат).

В целом, методы игольчатого и слабого варьирования хорошо дополняют друг друга. Опыт практических расчетов показывает целесообразность их комбинированного использования в процессе решения задачи.

Отметим, что градиентные процедуры и методы принципа максимума являются, по-существу, методами линеаризации и основаны на результатах теории необходимых условий оптимальности. Достаточные условия оптимальности в форме Кротова В. Ф. [36], которые в последнее время интерпретируются в рамках принципа расширения, послужили источником для построения целого ряда алгоритмов сильного и слабого улучшения допустимых управлений, представленных в работах Гурмана В. И., Батурина В. А., Урбановича Д. Е., Фельдмана И. Н. [14], [28], [36], [37]. Основные характеристики этого подхода: линейно-квадратичная аппроксимация разрешающей функции, работа с гладкой функцией Гамильтона и максимизирующими управлениями в форме обратной связи, регуляризация целевого функционала как способ варьирования управлений.

Необходимые и достаточные условия оптимальности нестандартного типа в невыпуклых задачах специальной структуры (задачи на максимум выпуклого терминального функционала, задачи на максимум разности двух выпуклых терминальных функционалов и др.) являются конструктивной основой для построения и обоснования своеобразных методов глобальной оптимизации в работах Стрекаловского A.C. [59], [60], [81]-[83] .

Вопросы алгоритмической и программной реализации методов оптимального управления вместе с численным решением конкретных задач прикладного содержания рассмотрены в монографии Тятюшкина А. И. [61].

В работах [31], [32], [50] излагается конечно-разностный подход к решению задач оптимального управления. Суть его в переходе от дифференциальных уравнений и интегральных функционалов, описывающих задачу, к их дискретным аналогам с последующим применением идей и методов нелинейного программирования. Наиболее основательно этот подход реализован в монографии Евтушенко Ю. Г. [31].

Следует выделить также цикл работ Габасова Р., Кирилловой Ф. М. [25]-[27] по развитию неклассических методов поиска программных и позиционных решений определенных классов задач оптимального управления. Эффективность подхода определяется тем, что в основе итераций лежат не традиционные фазовые и сопряженные переменные, а моменты переключения управлений (опорное управление, опорный принцип максимума, процедуры замены управления и опоры).

Существенный прогресс в проблеме вычислительных методов связан, в первую очередь, с задачами оптимального управления без фазовых и терминальных ограничений. В этих задачах фигурирует только один (целевой) функционал и присутствуют только поточечные (понтрягинские) ограничения на управление, поэтому процедуры улучшения имеют здесь однозначную направленность: построить допустимое управление с меньшим значением функционала. Разнообразие методов определяется типом варьирования (игольчатое, слабое) и характером используемых аппроксимаций функционала (фазовая, игольчатая, слабая вариации). Наряду с традиционными методами последовательных приближений, основанными на теории принципа максимума, в последнее время в этой области разработан целый комплекс процедур улучшения и соответствующих итерационных методов, использующих нестандартные аппроксимации функционала вместе с конструктивной техникой игольчатого варьирования и обладающих повышенными характеристиками эффективности (Срочко В.А., Антоник В. Г. [53]-[58]).

В данной диссертационной работе проводится дальнейшее развитие этого направления исследований. Основным объектом численного анализа являются градиентные аппроксимации функционала и соответствующие процедуры варьирования.

Общие характеристики развиваемого подхода состоят в следующем:

— в качестве базовой основы для построения методов используются неклассические аппроксимации целевого функционала (квазивариации), которые определены на паре допустимых процессов (два управления, две фазовые траектории) и обеспечивают более высокий порядок точности, чем стандартная вариация функционала;

— в билинейных и билинейно-квадратичных задачах построенные аппроксимации являются точными (нелокальными), поэтому соответствующие процедуры и методы улучшения работают без варьирования управлений (без параметрического поиска), что является существенным фактором в плане вычислительных затрат;

— нестандартным элементом процедур варьирования является конструктивное использование специальных функций (вместо параметров), которые существенно расширяют потенциал и повышают эффективность варьирования;

— реализация ряда процедур и методов улучшения связана с интегрированием разрывных по фазовым переменным систем управления, что является положительным фактором в плане возможного улучшения стационарных режимов в невыпуклых задачах.

В первой главе рассматривается основная задача с выпуклым, замкнутым множеством II, описывающим ограничения на управление. Выделяются популярные в приложениях классы задач (билинейные, билинейноквадратичные), которые в дальнейшем выступают в качестве стандартов для качества используемых аппроксимаций и эффективности соответствующих методов. Вводятся в рассмотрение новые аппроксимации целевого функционала — первая и вторая квазивариации, которые определяют модифицированный градиент функционала (квазиградиент) как привычную производную (со знаком минус) гамильтониана по управлению, но подсчитанную вдоль пары фазовых траекторий (исходной и варьированной). Как показывает дальнейший анализ, такая коррекция является конструктивной (реализуемой в плане улучшения исходного управления) и порождает целую серию методов квазиградиентного типа с повышенными показателями эффективности (нелокальный спуск в классе билинейных задач, минимизирующая последовательность в выпуклых задачах при любом значении параметра варьирования, возможность улучшения стационарных управлений в невыпуклых задачах и др.).

В разделе 1.3 в рамках стандартной градиентной процедуры безусловной оптимизации используется функция варьирования (вместо параметра), которая определяется согласно принципу наискорейшего спуска в условиях некоторой функциональной нормировки. Параметризация в норме пространства Ь2 является результативной и приводит к обоснованной динамической коррекции направления антиградиента с помощью нормированной функции невязки относительно условия стационарности гамильтониана. В этом же разделе для задачи без ограничений построены и обоснованы квазиградиентные процедуры первого и второго порядков фазовой аппроксимации с постоянным шагом.

Проблема конструктивного улучшения стационарных управлений является в теории итерационных методов достаточно актуальной в плане глобального решения невыпуклых задач оптимизации. Абсолютное большинство известных методов последовательного улучшения ориентировано на поиск стационарных управлений (локальных решений) и не в состоянии преодолеть барьер стационарности. В разделе 1.4 проблема стационарности в определенной степени решается на основе конструирования разрывных по фазовым переменным процедур варьирования. Эти процедуры получаются в рамках вспомогательной задачи на минимум квазивариаций функционала при условии негладкой нормировки (максимум модулей) для вариации управления. Результатом является' разрывная (sign) процедура варьирования, которой соответствует разрывная фазовая система. Возможность улучшения стационарного режима обусловлена возможностью неединственного решения такой системы. Эффективность предлагаемой процедуры иллюстрируется примерами, в которых производится улучшение стационарных управлений различной природы (строгий принцип максимума, особые управления). В рамках итерационного процесса полученную процедуру рекомендуется применять разовым образом в критических ситуациях, когда основной вычислительный метод исчерпывает свои возможности в окрестности стационарного решения.

В заключительном разделе первой главы рассматриваются задачи с выпуклой, замкнутой областью управления. Здесь вполне естественным является использование операции проектирования. Проводится построение и обоснование методов проекции квазиградиента первого и второго порядка аппроксимации. Для определенных классов задач изучаются асимптотические свойства методов — сходимость по невязке дифференциального принципа максимума в билинейно-квадратичных задачах, минимизирующая последовательность без процедуры одномерного поиска в выпукло-квадратичных задачах. Предлагаемая модернизация стандартного метода проекции градиента повышает качество численного решения соответствующих задач.

Во второй главе рассматривается задача с выпуклым, компактным ограничением на управление. В этом случае базовое условие оптимальностидифференциальный принцип максимума, стандартная техника улучшения метод условного градиента, универсальная процедура варьирования — обобщенная выпуклая комбинация пары допустимых управлений, использующая функцию варьирования (вместо параметра).

В разделе 2.1 проводится сравнительный анализ процедур варьирования, связанных с различными нормировками (параметризациями) функции варьирования. Нормировка в пространствах L^, L приводит к стандартным вариациям слабого и игольчатого типа. В результате применения ¿-2-нормы построена неклассическая процедура смешанного варьирования, сочетающая в себе элементы стандартных процедур (участки слабого и игольчатого варьирования) и расширяющая конструктивные возможности улучшения управлений. Эффективность новой схемы варьирования иллюстрируются на примерах.

В разделе 2.2 проводится разработка и исследование квазиградиентных методов на основе первой квазивариации функционала в совокупности с процедурами слабого и смешанного варьирования. Методы используют только первые производные функциональных элементов задачи по управляющим и фазовым переменным. Основные качественные характеристики предлагаемых процедур состоят в следующем:

— локальное улучшение нестационарных управлений в общих задачах;

— нелокальный спуск в билинейных задачах со свойством сходимости по модифицированной невязке дифференциального принципа максимума;

— возможность улучшения стационарных управлений вследствие разрывного характера процедуры варьирования.

Указанные свойства существенно превосходят стандартный потенциал метода условного градиента, что иллюстрируется соответствующими примерами.

Переход на уровень второй квазивариации функционал (раздел 2.3) приводит к квазиградиентным методам второго порядка относительно фазовых переменных (первые производные по управлению, первые и вторые производные по фазовому состоянию). Дополнительные возможности предлагаемых методов связаны с нелокальным улучшением в билинейно-квадратичных задачах и реализацией минимизирующей последовательности управлений в выпукло-квадратичных задачах (без параметрического поиска).

Квазиградиентные методы второго порядка не симметричны по совокупности «управление — состояние» (первый порядок аппроксимации по управлению, второй — по состоянию). В разделе 2.4 построен «симметричный» метод второго порядка (метод полной квадратичной аппроксимации), в котором фигурируют первые и вторые производные функциональных элементов задачи как по управлению, так и по состоянию. При этом используется техника слабого варьирования с функциональным параметром. В результате получены интересные процедуры улучшения со свойством нелокальности в биквадратичных задачах (фазовая система линейна по состоянию, функция Понтрягина биквадратична относительно пары «управление — состояние»).

В целом, квазиградиентные методы, представленные в главе 2, являются существенной модернизацией стандартных градиентных процедур и носят перспективный характер в плане повышения экономичности и надежности численного решения задач оптимального управления.

Оценка эффективности итерационных методов во многом определяется результатами вычислительного эксперимента по решению характерных тестовых и прикладных задач. Глава 3 диссертации содержит информацию по численной реализации предлагаемых методов и модификаций для приближенного решения ряда задач прикладного содержания, известных по литературе (химическая технология, электротехника, маркетинг). Предварительно была проведена алгоритмическая и программная проработка методов (схема численного интегрирования дифференциальных уравнений, выбор констант, стратегия поиска параметров варьирования, условия остановки, компьютерная программа и т. д.). Конечная цель эксперимента состояла, как обычно, в сравнении различных методов (предлагаемых и известных) по некоторым показателям, характеризующим процесс и качество решения задачи (эволюция уменьшения функционала, рекордное значение функционала и соответствующее число задач Коши, итоговые реализации управления и фазовых траекторий). Результирующая картина расчетов не является однозначно определенной, однако доминирующий вывод связан с нетривиальным преимуществом разработанных методов в сравнении с известными процедурами (наилучшее значение функционала, затраты на решение). Кроме того, результаты расчетов показали необходимость коррекции итоговых управлений в некоторых задачах в плане сглаживания на участках пошаговых переключений, которые возникают вследствие некорректности вспомогательной задачи методов условного квазиградиента (градиента). В этой процедуре доводки («зачистки») решающее значение имеют методы проекции квазиградиента, которые используют вполне корректную вспомогательную задачу и позволяют построить достаточно приемлемую реализацию итогового управления без потери в значении функционала.

В целом, диссертация ориентирована на дальнейшее развитие теории вычислительных методов оптимального управления и определяет некоторые подходы и направления исследований на пути создания нового класса градиентных методов с высокими показателями качества.

Основные результаты диссертационной работы опубликованы в [2]-[5], [41]-[46], [68] и докладывались на:

— XI международной Байкальской школе «Методы оптимизации и их приложения» (Иркутск, 1998);

— международной конференции «Dynamical systems: stability, control, optimization» (Минск, 1998);

— международной конференции «Нелинейные науки на рубеже тысячелетий» (Санкт-Петербург, 1999):

— международной конференции по проблемам управления (Москва, 1999);

— международной конференции «Математика в Восточных регионах Сибири» (Улан — Удэ, 2000);

— 3-ей Азиатской конференции по управлению (Шанхай, 2000);

— XII Байкальской международной конференции «Методы оптимизации и их приложения» (Иркутск, 2001);

— ежегодной научно-теоретической конференции молодых ученых ИГУ (Иркутск, 2001).

Материалы диссертации неоднократно обсуждались на семинарах кафедры вычислительной математики и механики ИГУ и кафедры математики ИГЭА. Основные результаты нашли отражение в отчетах по гранту РФФИ (проект № 99−01−400), программе «Университеты России — фундаментальные исследования «(проект № 990 345), Федеральной целевой программе «Интеграция» (проект А0037).

В диссертации используется стандартная система обозначений и ссылок. Структурная схема работы отражена в оглавлении. Формулы имеют двойную нумерацию: номер главы и порядковый номер формулы в главе. Ссылки на литературу оформляются квадратными скобками.

Список литературы

приведен в алфавитном порядке.

Автор приносит глубокую благодарность своему научному руководителю профессору Срочко Владимиру Андреевичу за большую помощь в работе над диссертацией и выражает признательность доценту Антонику Владимиру Георгиевичу за помощь в проведении вычислительного эксперимента.

Основные результаты:

1) задачи без ограничений на управление — градиентная процедура с переменным шагом, квазиградиентные методы спуска первого и второго порядков в непрерывном и разрывном вариантах;

2) задачи с выпуклым замкнутым ограничением на управление — методы проекции квазиградиента первого и второго порядков фазовой аппроксимации;

3) задачи с выпуклым компактным ограничением на управление — процедура смешанного варьирования, квазиградиентные методы с постоянным и функциональным параметрами варьирования, метод полной квадратичной аппроксимации.

Проведенный вычислительный эксперимент подтверждает теоретический прогноз в отношении эффективности разработанных методов.

Заключение

.

В диссертации с позиций итерационного решения рассматриваются следующие классы задач оптимального управления:

— общая нелинейная задача,.

— билинейная задача,.

— билинейно-квадратичная задача.

На основе неклассических аппроксимаций целевого функционала и нестандартных процедур варьирования проведена модернизация известных методов градиентного типа. Предлагаемые модификации характеризуются более высоким уровнем эффективности и соответствуют новому поколению вычислительных методов оптимального управления.