Попов Э.В. Общение с компьютером на естественном языке № 5. Изд. 3, стереотип.

Оглавление

Предисловие ко второму изданию

В спорте иногда бывают "вечные" рекорды. Таким был потрясший воображение прыжок в длину на 8 м 90 см Роберта Бимона на Олимпиаде в Мехико в 1968 г., который был назван "прыжком в XXI-й век". Этот результат продержался около 25 лет и был улучшен лишь на 5 см Или до сих пор непревзойденный рекорд в прыжках с шестом Сергея Бубки.

В современной науке подобные случаи – также большая редкость. Особенно это относится к столь динамичным областям как информатика и искусственный интеллект. В последние годы здесь возникают и бурно развиваются различные "микронаправления", стремительно сменяя друг друга. И многие книги, в которых отражены идеи и результаты, бывшие новаторскими в 60-х – 80-х годах, сегодня кажутся безнадежно устаревшими.

Совершенно иная судьба была уготована монографии Э.В.Попова "Общение с ЭВМ на естественном языке", впервые изданной в 1982 г., которая стала первой в СССР книгой, описывающей теорию и практику создания систем общения человека с компьютером на естественном (русском) языке. Написанная на основе защищенной в том же году докторской диссертации автора, вобравшей в себя не только его разносторонние и глубокие теоретические познания, но и большой практический опыт создания систем общения в НИИ "Восход", эта книга стала настоящим "прыжком в XXI-й век". Подтверждением этого служит тот факт, что она выдержала уже два издания на английском языке в столь авторитетном издательстве как Шпрингер. За прошедшие десятилетия в отечественной литературе по информатике и искусственному интеллекту так и не появилось фундаментальных монографий по теории и системам общения, которые можно было бы поставить в один ряд с пионерской книгой Э.В.Попова. Слишком высокой оказалась "рекордная планка". Многие содержащиеся в ней положения, модели и подходы, в частности, обобщенная модель процесса общения, которую также называют моделью общения по Э.В.Попову, модель участника общения, подходы к представлению контекста и машинному синтезу фраз естественного языка, обрели новую жизнь в русле современных направлений искусственного интеллекта, таких как прикладная семиотика, когнитивное моделирование, теория агентов и многоагентных систем. В то же время в книге прекрасно освещены основные классические проблемы, характеризующие интеллект как открытую, целостную, сложную, многомерную систему и составляющие ядро в области искусственного интеллекта. Эти проблемы перечислены в предисловии к первому изданию данной монографии, написанном основоположником отечественных исследований по ИИ Д.А.Поспеловым.

1. Проблема представления знаний. В отличие от обычных программ для ЭВМ, представляющих собой формализованную запись некоторой процедуры (процедурального знания, как говорят специалисты в области искусственного интеллекте), интеллектуальные программы должны опираться на знания о проблемной среде, которые хранятся в памяти ЭВМ в виде декларативных знаний. Только такое разделение знаний на две составляющие способно обеспечить построение конкретных процедур с помощью метапроцедур, работающих над знаниями о той предметной области, которая доступна ЭВМ.

Возникают следующие проблемы: как описать знания о внешнем мире, как организовать хранение этих знаний в памяти системы, как эффективно устранять из памяти устаревшие знания и находить требуемые, как проверять непротиворечивость накопленных знаний. Все эти проблемы еще очень далеки от окончательного решения. Однако уже сегодня ясно, что представление знаний – ключ к созданию эффективных систем искусственного интеллекта. Уже созданы специальные способы описания структурированных знаний – реляционные и фреймовые языки, строятся алгебраические модели для них, например реляционная алгебра Кодда, нащупываются пути пополнения хранимых в системе знаний за счет использования специальных логик, отражающих закономерностей реального мира (к ним относятся временные, пространственные, каузальные, деонтические, эпистемологическис и многие другие логики такого типа, теория которых бурно развивается). В результате этого в области представления знаний возникает система новых метапроцедур, позволяющих формировать при необходимости конкретные процедуры работы со знаниями. Число уже найденных метапроцедур составляет около двух десятков.

2. Проблема планирования. При построении конкретных процедур решения задач системы искусственного интеллекта должны построить план своей деятельности. В противном случае действия системы будут носить хаотический, нецеленаправленный характер. Поэтому проблема планирования, наряду с проблемой представления знаний, является фундаментальной в области искусственного интеллекта. В зависимости от языка представления знаний процедуры планирования могут основываться либо на поиске логического вывода, либо на поиске путей заданного типа в некоторых сетевых структурах. С первой возможностью связано развитие работ в области построения эффективных средств дедуктивного вывода (например, развитие и модификации принципа резолюции, известного в теории логического вывода) и поиск методов и схем, позволяющих строить выводы индуктивного типа (например, по типу схем Милля или процедур, предложенных Пойя). Со второй возможностью связано развитие работ в области решения комбинаторных проблем на сетях и развитие специальных методов описания сетей для планирования. Примером последнего является теория сценариев, активно развиваемая в последнее десятилетие в США. Отметим также, что к проблеме планирования относятся и задачи развертывания глобальных целей в подцели, нахождение локальных критериев успеха планирования, использование вероятностных и расплывчатых представлений при планировании, а также прогнозирование допустимости и эффективности плана на базе знаний, хранящихся в модели мира системы.

3. Проблема общения. Развитие программирования показало, что общение пользователя с ЭВМ – важное звено в эффективности решения задач. Появление развитых диалоговых систем, языков общения и специальных средств редактирования и отладки недвусмысленно говорит об этом. Переход к системам, в памяти которых хранятся не только процедуральные знания, но и декларативные знания, требует нового подхода к проблеме общения. Для человека идеальным было бы общение на обычном, естественном языке. Кроме того, естественный язык – это, пожалуй, единственная известная нам на сегодня моделирующая система, средствами которой можно описать многообразный окружающий мир. Отсюда большой интерес специалистов в области искусственного интеллекта к анализу естественного языка как средства для описания действительности и средства коммуникации между человеком и системой. Основными задачами в этой области являются: синтаксический анализ текстов на естественном языке, переход от языковых представлений к языку описания знаний, понимание вопросов, формирование ответов, интересующих человека, извлечение знаний из текстов на естественном языке. Нерешенных проблем здесь пока предостаточно, но уже сегодня начинают появляться диалоговые системы общения, базирующиеся на естественном языке. Книга, которая сейчас находится перед вами, показывает тот уровень наших знаний о решении проблемы общения, которого достигли пока специалисты. Из книги следует, что удалось выявить ряд метапроцедур универсального типа, которые лежат в основе конкретных процедур общения на естественном языке.

В принципе общаться с системой искусственного интеллекта можно и другими способами. Например, с помощью рисунков и картинок. Поэтому в искусственном интеллекте разрабатываются системы извлечения информации не только из текстов на естественном языке, по и из изображений. Исследуются также смешанные рисуночно-текстовые объекты. Где-то здесь происходит смыкание искусственного интеллекта с теорией распознавания образов.

4. Проблема организации поведения. Эта проблема, пожалуй, наиболее молода по времени возникновения. Она не возникала, пока специалисты по искусственному интеллекту имели дело с обычной ЭВМ. Будучи простым переработчиком информации, ЭВМ могла имитировать те или иные виды интеллектуальной деятельности, но не обладала прямым контактом с внешней средой. Однако появление технических устройств, названных роботами, кардинально изменило положение дел. Роботы, в отличие от ЭВМ, действуют в реальной физической среде, перемещаются в ней, воздействуют с помощью эффекторов на объекты среды, получают от среды с помощью рецепторов разнообразную по характеру информацию. Поведение таких систем в нашем мире не может не интересовать человека и, прежде всего, конструкторе) робота. Другими словами, возникает необходимость нахождение и имитации метапроцедур, обеспечивающих с точки зрения человека приемлемое поведение системы искусственного интеллекта. Появление проблемы организации поведения стимулировало развитие соответствующих исследований в области психологии. Психологи стали развивать новое направление, получившее название когнитивной психологии. В рамках этого направления стал осуществляться поиск метапроцедур, связанных с воздействием организаций знаний, с формированием тех или иных поведенческих актов. В области искусственного интеллекта идет активная работа по формальному представлению систем процедур, обеспечивающих заданное нормативное поведение системы при заданных знаниях о внешней среде и целях функционирования системы.

Указанные четыре глобальные проблемы искусственного интеллекта не исчерпывают полностью круг вопросов, исследуемых в рамках этого направления. Можно указать еще, например, на задачи, связанные с адаптацией и обучением, коллективным взаимодействием систем искусственного интеллекта, а также человека и подобных систем при решении общей задачи, и ряд других задач. Все они представляют для исследователей несомненный интерес, но в основе всей теории искусственного интеллекта лежат идеи, связанные с нахождением эффективных систем представления знаний, планированием целесообразной деятельности, организацией процесса коммуникации и формированием глобальной структуры нормативного поведения.

Несколько слов об авторе книги. Эдуард Викторович Попов – ведущий российский ученый в области информатики и искусственного интеллекта, крупнейший специалист по системам общения, динамическим экспертным системам, интеллектуальным системам поддержки организационного проектирования и перепроектирования (реинжиниринга). Доктор технических наук, профессор, академик РАЕН, лауреат премии Президента России в области образования Он родился 5 января 1940 г. в Ленинграде и пережил тяжелые блокадные годы. В 1963 г. кончил ЛИТМО. По окончании института работал в знаменитом Ленинградском конструкторско-технологическом бюро, руководимом столь незаурядной личностью как Ф.Старое (жизнеописанию этого выдающегося инженера и ученого посвящен роман Д.Гранина "Бегство в Россию"), где занимался вопросами разработки системного программного обеспечения для бортовых машин. После перепрофилирования ЛКТБ в 1974 г. Э.В.Попов переехал в Москву и перешел на работу в НИИ "Восход", где быстро выдвинулся в число наиболее авторитетных специалистов. Он принимал активное участие в создании информационно-поисковых систем (ИПС) и систем обработки данных (СОД) для ЦК КПСС И Совета Министров СССР. Под его руководством и при его непосредственном участии построены знаменитые системы общения ПОЭТ и АИСТ, внедренные во все основные ИПС и СОД, которые были разработаны в НИИ "Восход ". В 1990 г. была реализована интегрированная оболочка для создания экспертных систем ЭКО, которая была признана лучшей среди отечественных интеллектуальных систем на выставке, прошедшей в рамках 2-й Всесоюзной конференции по ИИ в Минске.

Эдуард Викторович Попов – автор ряда блестящих монографий по теоретическим и прикладным проблемам искусственного интеллекта. К их числу относятся: Алгоритмические основы интеллектуальных роботов и искусственного интеллекта. – М.: Наука, 1976 (в соавторстве с Г.Р.Фирдманом); Экспертные системы. Решение неформализованных задач в диалоге с ЭВМ. – М.: Наука, 1986; "Общение конечных пользователей с системами обработки данных". – М.: Радио и связь, 1988 (в соавторстве с В.И.Дракиным и А.Б.Преображенским). По сути каждая из этих монографий является пионерской, впервые вводящей отечественного читателя в ту или иную область искусственного интеллекта. Нельзя обойти вниманием и его знаменитую книгу об использовании современных информационных технологий в бизнесе "Реинжиниринг бизнеса". – М.: Финансы и статистика, 1997 (в соавторстве с Е.Г.Ойхманом), которая пользуется большим успехом у широкого круга читателей. Под его редакцией в 1990 г. издана первая книга трехтомного Справочника по искусственному интеллекту "Системы общения и экспертные системы ". Им также опубликован учебник "Статические и динамические экспертные системы". – М.: Финансы и статистика, 1986 (в соавторстве с И.Б.Фоминых и др.).

В настоящее время Эдуард Викторович Попов работает заместителем директора ГУ Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования. Он ведет большую научно-организационную деятельность, являясь вице-президентом Российской ассоциации искусственного интеллекта, главным редактором журнала "Новости искусственного интеллекта", председателем редакционного совета серии "Науки об искусственном", Председателем Программного комитета 9-й Национальной конференции по ИИ. И полон творческих планов Нет сомнений, что новое издание его монографии "Общение с ЭВМ на естественном языке" будет полезным и для специалистов в области искусственного интеллекта (как теоретиков, так и прикладников), и для научной молодежи, только выбирающей свой жизненный путь и интересующейся ключевыми проблемами разработки информационных технологий XXI-го века.

Предисловие

Увеличение производительности вычислительных машин и снижение их стоимости способствуют расширению сферы применения ЭВМ в народном хозяйстве. Однако повсеместному использованию ЭВМ препятствует ряд факторов, называемых нами "проблемой общения". Суть ее состоит в том, что языки ЭВМ сильно отличаются от языков пользователей и непонятны специалистам, не знающим программирования. Поэтому в настоящее время пользователи общаются с ЭВМ через посредников в лице программистов. В связи с тем, что подобная форма общения имеет массу явных и скрытых недостатков, предпринимались и продолжают предприниматься попытки решения проблемы общения. Используемые подходы к решению проблемы можно разбить на два основных класса: 1) приближение языка ЭВМ к естественному языку; 2) приближение языка пользователя (путем формализации языка) к языку ЭВМ.

Данная книга посвящена описанию первого подхода, т.е. разработке систем, осуществляющих общение с пользователем на ограниченном естественном языке (ОЕЯ). Отметим, что в заглавии книги употреблен термин "естественный язык" (ЕЯ), а не ОЕЯ. Причина, побудившая нас не использовать в заглавии термин "ограниченный естественный язык", состоит в том, что термин ОЕЯ трактуется в двух смыслах: 1) как некий диалект естественного языка: 2) как формализованный язык, операторы которого выражаются в виде слов естественного языка (например, язык программирования, операторы которого записываются в виде слов русского языка). В данной книге речь пойдет об общении человека с ЭВМ на ОЕЯ, понимаемом как диалект естественного языка. Опубликованные до настоящего времени книги на указанную тему имеют с точки зрения практики следующие принципиальные недостатки:

1. Описываются системы, сводящие общение к проблеме буквального понимания отдельных фраз, вне их связи с целями и возможностями участников, и ориентированные на работу только в предельно ограниченной предметной области (Виноград Т.Программа, понимающая естественный язык. – М.: Мир, 1976).

2. Рассматривается только лингвистическая модель процесса общения без связи с моделью окружающего мира и без реализации модели на ЭВМ (Мельчук И.А.Опыт теории лингвистических моделей "СМЫСЛ – ТЕКСТ". -М.: Наука, 1974).

Таким образом, к написанию монографии "Общение с ЭВМ на естественном языке" автора побудили следующие причины:

1. Отсутствие книг, излагающих идеи, методы и алгоритмы построения систем реальной сложности, осуществляющих общение пользователя с ЭВМ в естественном (русском) языке.

2. Стремление рассмотреть систему общения не как модель языка, а как модель участника общения, включающую модели языка, окружающего мира, собеседника и себя.

Книга состоит из восьми глав. Первая глава содержит анализ связного текста и рассмотрение существующих лингвистических моделей, являющихся моделями языка. Завершается первая глава описанием предложенной модели общения.

Вторая глава содержит описание принципов построения модели участника общения (МУО), предназначенной для построения реальных систем общения. Здесь определены требования, которым должны удовлетворять подобные системы, и на их основе проведен критический анализ существующих систем общения. Описана общая организация, состав и структура предлагаемой модели участника общения, удовлетворяющей выдвинутым требованиям.

Третья и четвертая главы описывают знания, необходимые МУО для достижения цели общения, и способ представления этих знаний. Приведено описание знаний об окружающей среде, языке, пользователе, себе, и рассмотрены способы представления этих знаний.

Пятая, шестая п седьмая главы посвящены описанию процесса функционирования модели участника общения, состоящего из трех этапов: анализа, обработки и синтеза. Первый этап в соответствии с лингвистическими традициями разбивается на морфологическим, синтаксический и семантический компоненты. Анализ состоит в преобразовании предложения естественного языка во внутреннее представление, выражающее смысл предложения. Этап обработки осуществляет взаимосвязь текущего предложения с предыдущим текстом, выполняет интерпретацию предложения в общем контексте диалога, осуществляет вычисление и выводы, необходимые для формирования реакции (= ответа) системы на входной текст. Этап синтеза осуществляет перевод ответа из машинного представления в предложение ограниченного естествен-> 1того языка с помощью семантического, синтаксического и морфологического синтеза.

Восьмая глава содержит описание системы ПОЭТ – одной из первых действующих систем, осуществляющих общение с пользователем на ограниченном русском языке. Система ПОЭТ построена на базе предложенных в предыдущих главах принципов.

Книга ориентирована на широкий круг специалистов по разработке автоматизированных систем, осуществляющих взаимодействие с человеком на естественном языке. Однако в первую очередь книга обращена к алгоритмистам и программистам, участвующим в разработке систем общения. По этой причине в книге значительное внимание уделено не только вопросу "КАК ПРЕДСТАВЛЯТЬ?" (обычно освещаемому в трудах по программированию и искусственному интеллекту), но и вопросу "ЧТО ПРЕДСТАВЛЯТЬ?" (обычно умалчиваемому), чтобы система общения могла понимать и генерировать тексты на ЕЯ. Особое место при описании "ЧТО ПРЕДСТАВЛЯТЬ?" отведено описанию модели диалога, модели пользователя и модели самой системы. Именно упрощенчество в представлении этих компонент приводит, по нашему мнению, к тому, что многие системы общения оказываются неработоспособными или в лучшем случае непригодными к развитию.

В заключение хотелось бы отметить, что описываемые в книге подходы хотя и являются практическими шагами на пути создания систем общения реальной степени сложности, однако далеки от окончательного решения проблемы общения на ЕЯ. В связи с этим, если какие-либо выводы автора покажутся читателям излишне категоричными, то это скорее недостаток формы изложения, чем действительное мнение автора. Более того, некоторые утверждения автора (особенно в первой и второй главах) следует рассматривать скорее как приглашение к рассуждению, а не претензию на истину.

Введение

Интерес к разработке систем общения на естественном языке проявляется как со стороны научных дисциплин, так и со стороны технических. В научном аспекте данной проблемой занимаются лингвистика, психология, "искусственный интеллект", а в техническом аспекте – в первую очередь вычислительная техника и программирование, использующие действующие модели общения при разработке автоматизированных систем управления, информационно-поисковых систем, вопросно-ответных систем, систем машинного перевода и т.п. Практическая значимость указанной проблемы резко возрастает в связи с расширением сферы использования ЭВМ в народном хозяйстве. Можно утверждать, что не существует такой отрасли народного хозяйства, где бы уже не использовалась вычислительная техника. Однако повсеместному внедрению вычислительной техники препятствует тот фактор, что общение с ЭВМ в настоящее время могут осуществлять только специально подготовленные люди – программисты. В связи с этим необходимость в людях, имеющих данную профессию, непрерывно растет. Так, в США спрос на программистов возрастает ежегодно на 20%. По оценкам американских экспертов, к 2000 году для удовлетворения потребности в программистах надо будет обучить программированию всех жителей США. Очевидно, что подобный путь вряд ли является приемлемым. Необходимо решать проблему общения человека с ЭВМ не только за счет увеличения количества программистов, но и за счет приближения языка общения к естественному (= человеческому) языку, что обеспечит повышение эффективности взаимодействия и позволит людям любых специальностей общаться с ЭВМ без предварительного обучения. Сказанное становится особенно убедительным, если вспомнить, что за 25 лет использования вычислительной техники быстродействие ЭВМ возросло приблизительно в 10⁵ раз, объемы оперативной памяти – приблизительно в 10³ раз, а скорость общения с ЭВМ (программирования с учетом отладки) возросла всего в 2–3 раза. Отмеченный фактор находит отражение и в распределении стоимости вычислительных систем. Если на заре вычислительной техники математическое и информационное обеспечение (МО и ИО) составляло ничтожную долю от стоимости оборудования, то в настоящее время стоимость МО и ИО составляет примерно 70% от стоимости всей системы. Из вышеизложенного становится очевидна огромная важность проблемы общения человека с ЭВМ. Одним из возможных путей решения указанной проблемы является разработка систем программирования, обеспечивающих "естественные" средства общения пользователя с ЭВМ. Большинство работ по созданию подобных систем не вышли из стен лабораторий. Работы по "естественным" средствам общения ведутся в основном в следующих направлениях:

1) общение с ЭВМ на ограниченном естественном языке (в форме текста);

2) общение с ЭВМ на ограниченном естественном языке (в форме голоса);

3) общение с ЭВМ в форме изображений.

Из трех перечисленных направлений наиболее продвинутыми являются работы по общению с ЭВМ на естественном языке в форме текста. В указанном направлении получены значительные результаты благодаря трудам как отечественных, так и зарубежных ученых. Не претендуя на перечисление всех ученых, внесших весомый вклад в разработку теории и практики систем общения, отметим только тех специалистов, работы которых были прямо или косвенно использованы автором данной книги в его исследованиях. В области разработки систем общения это Т.Виноград, Г.С.Поспелов, А.П.Ершов, Л.Т.Кузин, И.Уилкс, в области лингвистики – Р.Шенк, В.А.Звегинцев, Ю.Д.Апресян, А.К.Жолковский, Ч.Филмор, в области представления знаний – М.Минский, Д.Бобров, Д.А.Поспелов, Ю.И.Шемакин, В.А.Успенский, Г.Хендрикс, в области разработки отдельных компонент систем общения – В.Лессер, Г.Г.Белоногов, О.С.Кулагина, В.М.Брябрин, Р.Девис, А.Скотт и др. Однако, несмотря на значительные успехи указанного направления, в настоящее время существуют только экспериментальные системы общения на ОЕЯ, которые не могут быть использованы в реальных системах. По нашему мнению, основной причиной отсутствия промышленных систем общения является попытка сводить проблему общения к разработке модели языка или в лучшем случае к разработке модели языка, связанной с моделью окружающего мира. Подобный подход допустим только в частных вырожденных случаях. В общем случае, который и имеет место для систем реальной степени сложности, процесс общения подразумевает наличие двустороннего диалога (т.е. диалога со смешанной инициативой), в ходе которого система в случае затруднений или непонимания (неизбежных как при общении между людьми, так и тем более при общении человека с ЭВМ) должна в понятных пользователю терминах уметь; 1) объяснять причины своих затруднений и свое текущее состояние; 2) объяснять круг своих знаний и возможностей; 3) направлять пользователя на такой перифраз входного текста, который будет понятен системе. В соответствии с вышеизложенным за теоретическую основу при разработке диалоговых систем мы принимаем (вне зависимости от вида языка общения) модель участника общения, включающую модель языка, модель окружающего мира, модель пользователя и модель себя.

Для перехода от экспериментальных систем общения к промышленным необходимо решить широкий спектр чрезвычайно сложных научных и технических проблем, к числу которых мы в первую очередь относим:

1) исследование процесса общения, определение его основных особенностей;

2) рассмотрение существующих моделей процесса общения и, если они не охватывают всех аспектов общения, разработка новой модели общения;

3) разработку модели участника общения, являющейся основой для создания базовой промышленной системы общения;

4) разработку базовой промышленной системы общения.

Об авторе

Попов Эдуард Викторович

Доктор технических наук, профессор. Видный ученый в области информатики и искусственного интеллекта, один из основателей Советской ассоциации искусственного интеллекта, руководитель крупных отечественных проектов по созданию интеллектуальных систем и разработке инструментальных средств. Лауреат Премии Президента России в области образования.

Родился 5 января 1940 г. в Ленинграде. Пережил блокаду. В 1963 г. окончил ЛИТМО. Работал в Ленинградском конструкторско-технологическом бюро, где занимался вопросами разработки системного программного обеспечения для бортовых машин. В 1974 г. переехал в Москву, где долгие годы работал в НИИ «Восход», принимая активное участие в создании информационно-поисковых систем (ИПС) и систем обработки данных (СОД) для ЦК КПСС и Совмина СССР. Под его руководством построены системы общения ПОЭТ и АИСТ, которые были внедрены во все основные ИПС и СОД, разработанные в НИИ «Восход», реализована интегрированная оболочка ЭКО для создания экспертных систем, признанная лучшей среди отечественных систем на 2-й Всесоюзной конференции по искусственному интеллекту. С 1992 г. работал заместителем директора Российского научно-исследовательского института информационных технологий и систем автоматизированного проектирования (РИТАП).

Сфера научных интересов Эдуарда Викторовича Попова — обработка естественного языка, общение с базами данных на ограниченном естественном языке, экспертные системы, реинжиниринг бизнес-процессов и управление знаниями. Он — автор ряда фундаментальных монографий: «Алгоритмические основы интеллектуальных роботов и искусственного интеллекта», «Экспертные системы. Решение неформализованных систем в диалоге с ЭВМ» и др. Под его редакцией была издана первая книга трехтомного Справочника по искусственному интеллекту «Системы общения и экспертные системы».