|
Содержание
Введение
Этот раздел является чем-то вроде аннотированного и иллюстрированного, но не претендующего на полноту, предметного указателя по методам статистического обучения. Некоторые важные понятия только декларируются, а часть из них разъясняется в последующих разделах. Неполнота усугубляется тем, что в этой еще не стабилизировавшейся области деятельности одни и те же понятия часто называют разными словами и по-разному переводят на другие языки. Наряду с русскими терминами, иногда неканоническими, приводятся их англоязычные прототипы. Типичная задача статистического обучения (statistical learning, или machine learning, или pattern recognition, традиционный неправильный перевод последнего варианта – распознавание образов) в самом общем виде выглядит так. Есть некоторое количество объектов, с какими-то наблюдаемыми свойствами и какими-то ненаблюдаемыми, но известными. Необходимо построить алгоритм, правильно вычисляющий эти ненаблюдаемые свойства по этим наблюдаемым, причем не только для заранее предъявленных объектов, но и для любых других. Или хотя бы алгоритм, ошибающийся не очень часто и не очень сильно. Причем нужно не однократно построить такой алгоритм, а создать алгоритм более высокого уровня (мета-алгоритм, метод, технологию, ...), строящий вычисляющий алгоритм по любому предъявленному набору объектов, чтобы этот алгоритм часто получался приемлемым. Саму задачу будем называть распознаванием (recognition), решающий ее алгоритм – распознавателем (recognizer, learner), а построение этого алгоритма – обучением (learning, training, fitting) распознавателя. Для формализации постановки задачи нужно придать смысл всем выделенным словам предыдущего абзаца. Но сперва приведем неформальные примеры таких задач. Узнавание образцов. Имеется некоторое количество картинок, на каждой из которых нарисована кошка (или треугольник, или жираф, или самолет, или конкретный человек), и, возможно, некоторое количество картинок, на каждой из которых она (он) отсутствует. Построить алгоритм, определяющий наличие кошки (треугольника и т.д.) на картинке. Распознавание рукописных букв. Имеется некоторое количество картинок, на каждой из которых нарисована буква, и известно, какая именно. Построить алгоритм, узнающий нарисованные буквы. Распознавание рукописного текста. Имеется некоторое количество отсканированных страниц рукописей и параллельных текстовых файлов с правильно прочитанным содержимым рукописей. Построить алгоритм, читающий рукописный текст с листа. Распознавание голосовых команд. Имеется некоторое количествозвуковых файлов, содержащих записи произнесения (utterance) голосовых команд из конечного ассортимента (например, слов "да" и "нет" или цифр для голосового набора номера), и знание, в каком файле какая команда. Построить алгоритм, понимающий голосовые команды. Распознавание речи. Имеется некоторое количество звуковых файлов, содержащих записи естественной речи на каком-то языке, и текстовых файлов – их расшифровок. Построить алгоритм, распознающий речь и записывающий ее в виде текста. Медицинская диагностика. Имеется некоторое количество историй болезни и приложенных к ним результатов обследований больных. Построить алгоритм, по результатам обследований нового больного ставящий ему диагноз, назначающий лечение и/или прогнозирующий результаты лечения. Или, что более реально, подсказывающий врачу наиболее правдоподобные диагнозы. Геологическая диагностика. Про некоторое количество разработанных нефтяных месторождений известны данные их предварительной геологической разведки (например, сейсмограммы) и результаты их эксплуатации. Построить алгоритм, предсказывающий эксплуатационные характеристики, в первую очередь мощность, разведанных, но еще не вскрытых месторождений. Экономическое прогнозирование. Имеются данные о еженедельных объемах продаж нескольких тысяч видов товаров в нескольких сотнях магазинов за несколько лет. Построить алгоритм, предсказывающий спрос на ближайший месяц. Кроме распознавания теория статистического обучения занимается и другими задачами, например задачей кластеризации (синоним: кластерный анализ, cluster analysis). Есть некоторое количество объектов с какими-то наблюдаемыми свойствами. Надо построить алгоритм, разбивающий объекты на группы, называемые кластерами (cluster), и алгоритм, определяющий, какому кластеру принадлежит объект, так чтобы объекты внутри каждого кластера были похожи друг на друга, а объекты из разных кластеров – непохожи, причем чтобы это было как правило (т.е. статистически) верно не только для заранее предъявленных объектов, но и для любых других, предъявляемых впоследствии. Кластеризация и ее аналоги часто возникают в качестве вспомогательных задач в распознавании, сжатии данных и др. В дальнейшем обсуждается в основном обучение обучающихся алгоритмов, причем достаточно общих, не использующих специфики задачи. Подробности того, что предшествует обучению, как можно его проводить, что за ним следует и как все это интерпретировать с теоретико-вероятностной точки зрения, хорошо описаны в книгах [12,13]. Теоретические оценки ошибок распознавания, гарантирующие, что обучение вообще возможно, подробно рассмотрены в книге [80]. Основы теории и классические методы распознавания изложены в книге [83]. Практически в любой толстой книге, содержащей в названии слова "pattern recognition", "machine learning" (например, [13]) или "statistical learning" (например, [46] или [79]), описаны разные распознающие системы, способы их обучения, примеры применения и оценки качества работы, хотя одни и те же вещи в разных книгах могут называться по-разному. Об авторе
 Мерков Александр Борисович Кандидат физико-математических наук. Окончил механико-математический факультет МГУ имени М. В. Ломоносова в 1979 г. и поступил на работу во Всесоюзный научно-исследовательский институт системных исследований (ныне — Институт системного анализа РАН), где работал по 2018 г. Занимался системным программированием, качественной теорией уравнений в частных производных, разработкой систем управления базами данных (СУБД), маломерной топологией. С 2000 г. — заведующий учебной лабораторией распознавания в Московском центре непрерывного математического образования.
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||