URSS.ru Магазин научной книги
Id: 338461
769

Рандомизация и энтропия в обработке данных, динамических системах, машинном обучении

2023. 300 с.
  • Онлайн-книга

Аннотация

В основе данной книги лежат рандомизация и энтропия. Возникшее в начале века сочетание этих двух подходов оказалось весьма плодотворным для решения разнообразных задач. В настоящей книге собраны результаты исследований последних десяти лет, формулирующие общую концепцию энтропийно-рандомизированного оценивания и ее применение в задачах редукции размерности данных, «жесткого» и «мягкого» рандомизированного машинного обучения, прогнозирования... (Подробнее)


Оглавление
top
Предисловие9
Введение11
Часть I. Теория, методы, алгоритмы14
Глава 1. Энтропийные модели неопределенности14
1.1. Неопределенность14
1.2. Рандомизация17
1.3. Энтропия22
1.4. Механизмы формирования стационарных состояний макросистемы28
Глава 2. Обработка данных33
2.1. Энтропийные «прямые» и «обратные» проекции33
2.1.1. Энтропийно-оптимальный метод «прямого» и «обратного» проектирования34
2.1.2. Параллельное проектирование с ограничениями информационной емкости40
2.1.3. Энтропийное случайное проектирование44
2.1.4. Случайные матрицы-проекторы с заданными значениями элементов47
2.2. Восстановление пропущенных данных54
2.2.1. Структура процедуры рандомизированного восстановления пропущенных данных57
2.2.2. Алгоритмы оптимизации АПД59
Глава 3. Динамические системы с энтропийным оператором66
3.1. Математические модели динамических систем с энтропийным оператором68
3.2. Энтропийный оператор71
3.2.1. Качественные свойства энтропийного оператора в состоянии локального равновесия71
3.2.2. Оценивание локальной константы Липшица оператора с больцмановским энтропийным функционалом75
3.2.3. Оценивание локальной константы Липшица оператора с ферми-энтропийным функционалом93
3.3. Устойчивость ДСЭО с сепарабельным потоком104
3.4. Управляемые позитивные ДСЭО108
3.4.1. Математическая модель позитивной управляемой ДСЭО108
3.4.2. Сингулярные точки и их локализация111
3.4.3. Устойчивость «в большом» ненулевой сингулярной точки117
3.4.4. Квазиоптимальное управление одного класса позитивных ДСЭО120
3.5. Колебания в динамических системах с энтропийным оператором128
3.5.1. Математическая модель автономной ДСЭО128
3.5.2. Существование tau-0-периодических колебаний129
3.5.3. Асимптотический метод определения формы и параметров τ0-периодических колебаний132
3.5.4. Асимптотический метод определения формы и параметров τ-периодических колебаний134
3.5.5. Почти-периодические колебания в неавтономных ДСЭО137
Глава 4. Макродинамика одного класса нелинейных марковских процессов141
4.1. Математическая модель141
4.2. Локально-стационарные макросостояния потоков иммиграционной и эмиграционной вероятностей145
4.3. Уравнение нелинейного марковского процесса148
4.4. Анализ уравнения НМП150
Глава 5. Энтропийно-рандомизированное оценивание функций плотности распределения вероятностей152
5.1. Математическая формулировка метода ЭРО152
5.2. Условия оптимальности154
5.3. Существование неявной функции λ(x(r),y(r))156
5.4. Асимптотика ЭРО160
Глава 6. Рандомизированное машинное обучение164
6.1. Рандомизированная модель и ее характеризация164
6.2. Алгоритм «жесткого» РМО166
6.3. Алгоритм «мягкого» РМО169
Глава 7. Рандомизированное машинное прогнозирование171
7.1. Рандомизированные временные ряды173
7.2. Рандомизированные динамические модели «вход-выход»180
Глава 8. Энтропийная кластеризация на основе ЭРО186
8.1. Принцип рандомизированной кластеризации187
8.2. Числовая характеристика множества объектов188
8.3. Математическая модель задачи рандомизированной энтропийной кластеризации190
8.4. Алгоритмы рандомизированной бинарной кластеризации196
8.5. Иллюстративные примеры200
Часть II. Прикладные задачи210
Глава 9. Прогнозирование численности мирового населения210
9.1. Рандомизированная модель численности211
9.2. Рандомизированное оценивание функций ПРВ213
9.3. Тестирование обученной модели численности219
9.4. Рандомизированный прогноз численности222
Глава 10. Прогнозирование суточной электрической нагрузки энергетической системы224
10.1. Модель динамической регрессии224
10.2. Обучающая коллекция данных227
10.3. Энтропийно-оптимальные функции ПРВ параметров и шумов232
10.4. Обучение моделей234
10.5. Тестирование модели238
10.6. Рандомизированное прогнозирование N-суточной нагрузки245
Глава 11. Прогнозирование эволюции площади термокарстовых озер Западной Сибири247
11.1. Термокарстовые озера Западной Сибири, инструментальные средства и проблемы их исследования248
11.2. Восстановление пропусков данных дистанционного зондирования состояния термокарстовых озер арктической зоны251
11.3. Рандомизированное прогнозирование эволюции площади термокарстовых озер259
Литература284

Предисловие
top
Многолетние занятия теоретическими и прикладными исследованиями в области математики, информатики и наук о системах сформировали у меня устойчивые представления о необходимости генерации множества возможных решений, поскольку единственное решение чаще всего либо оказывается не реализуемым в приложениях, либо требует коррекции, что автоматически приводит к многовариантности. Существование такого представления основано на неопределенности, всегда присутствующей в исследуемой проблеме.

Эти соображения могут показаться тривиальными, но возникает вопрос: как более или менее объективно (формализованно) их реализовать? На этот счет существует множество вербальных деклараций, наподобие сценарного подхода, весьма распространенного в социально-экономических исследованиях.

Однако генерация сценариев — прерогатива экспертов, что делает сценарный подход экспертно-ориентированным, то есть по сути субъективным.

Хотелось бы сформировать подход более формализованный, но позволяющий использовать для своей коррекции вербальные знания. Полезной для этого оказалась рандомизация — искусственное придание случайных свойств неслучайным объектам.

Если таковым объектом является модель исследуемого явления, то ее следует параметризовать, а параметры объявить случайными величинами со своими областями значений. Для описания их вероятностных свойств можно использовать аппарат теории вероятностей и математической статистики, который позволяет исследовать функции плотности распределения вероятностей.

Таким образом, рандомизация является возможным средством решения различных задач в условиях неопределенности.

Естественным оказывается стремление получать рандомизированные решения при максимальной неопределенности. И здесь сразу возникает энтропия как мера неопределенности.

В предлагаемой книге реализуется описанная методологическая концепция, рассматриваются примеры ее использования в решении различных проблем обработки данных, теории динамических систем, машинного обучения и прогнозирования.

Основой книги стали материалы моих статей, опубликованных в 2010–2022 гг.

Понимание структуры данной концепции появилось у меня сравнительно недавно, но оно формировалось на базе совокупности моих научных представлений, в формировании которых сыграли важную роль мои учителя, коллеги и ученики.

Конечно, на первом месте находится мой учитель, академик

Яков Залманович Цыпкин, под влиянием которого я ощутил радость и вкус получения научного результата. Неоценимый вклад в мое понимание сущности научного поиска внесли мои коллеги: проф. Борис Теодорович Поляк, проф. Борис Семенович Дарховский, проф. Борис Лейбович Шмульян, членкорр. РАН Владимир Львович Арлазаров. Конечно, важную роль в моем продвижении по научной карьерной лестнице сыграли мои ученики: проф. Юлий Анатольевич Дубов, проф. Канат Шайханович Асаубаев, проф. Роман Львович Шейнин, и многие другие люди. Отдельно хочу отметить влияние на мое жизненное мировоззрение академика РАН Станислава Васильевича Емельянова, который неспешно, но мудро способствовал моему академическому движению.

Академик РАН Попков Ю. С.

Институт системного анализа ФИЦ ИУ РАН,

Институт проблем управления РАН,

Московский физико-технический институт


Об авторе
top
photoПопков Юрий Соломонович
Академик РАН, доктор технических наук, профессор, заслуженный деятель науки РФ. Главный научный сотрудник Института системного анализа ФИЦ ИУ РАН, главный научный сотрудник Института проблем управления РАН, заведующий кафедрой "Системные исследования" Московского физико-технического института (МФТИ), профессор кафедры "Нелинейные динамические системы" факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломоносова. Автор более 240 научных трудов, в том числе 15 монографий. Область научных интересов — стохастические динамические системы, оптимизация, машинное обучение, макросистемное моделирование.