Введение |
Часть 1.Компоненты |
| Глава 1.Компьютерная морфология (В.В.Бочаров, О.В.Митренина) |
| | 1. Как найти слова |
| | 2. Каким может быть анализ слов |
| | 3. Лексическая неоднозначность |
| | 4. Анализ морфологии на основе правил |
| | 4.1. | Что хранить в словарях? |
| | 4.2. | Морфологические модули АОТ |
| | 4.3. | Морфологический анализатор Pymorphy2 и словарь проекта OpenCorpora |
| | 4.4. | Анализатор mystem |
| | 5. Статистические методы анализа слов |
| | 5.1. | Статистическая частеречная разметка |
| | 5.2. | Триграммная скрытая Марковская модель |
| | 5.3. | Частеречная разметка незнакомых слов |
| | Литература |
| | Электронные ресурсы |
| Глава 2.Компьютерный синтаксис (А.В.Добров) |
| | 1. Разные подходы к анализу синтаксических структур |
| | 1.1. | Что такое парсинг |
| | 1.2. | Грамматики зависимостей |
| | 1.3. | Грамматики непосредственных составляющих |
| | 1.4. | Комбинированные теории анализа предложения |
| | 2. Неоднозначность и проблема комбинаторного взрыва |
| | 3. Статистический парсинг |
| | 4. Современные синтаксические анализаторы: семь глаз и типы в цехе |
| | 4.1. | Лингвистический процессор ЭТАП |
| | 4.2. | DictaScope и АОТ |
| | 4.3. | Stanford NLP, RASP, OpenNLP |
| | 4.4. | Link Grammar Parser |
| | 4.5. | NLTK |
| | 5. Дальнейшие задачи |
| | Литература |
| | Электронные ресурсы |
| Глава 3.Компьютерное представление значений (О.А.Митрофанова, И.В.Азарова) |
| | 1. О семантическом модуле |
| | 2. Модели представления знаний в компьютерной семантике |
| | 2.1. | Виды семантических представлений |
| | 2.2. | Сетевые модели |
| | 2.3. | Концептуальные графы |
| | 2.4. | Фреймы и сценарии |
| | 2.5. | Современные разновидности семантических представлений |
| | 3. Формальные онтологии |
| | 3.1. | Структура формальных онтологий |
| | 3.2. | Классификация формальных онтологий |
| | 3.3. | Особенности создания формальных онтологий |
| | 3.4. | Языки представления и редакторы формальных онтологий |
| | 3.5. | Методы автоматического построения формальных онтологий |
| | 3.6. | Современные онтологические ресурсы |
| | 3.7. | Применение формальных онтологий |
| | 3.8. | Стандартизация и оценка качества формальных онтологий |
| | 4. Компьютерные тезаурусы |
| | 4.1. | Какие бывают тезаурусы |
| | 4.2. | Компьютерные тезаурусы типа WordNet |
| | 4.3. | Компьютерные тезаурусы для русского языка |
| | 4.4. | Надстройки к компьютерным тезаурусам |
| | 4.5. | Прикладное использование компьютерных тезаурусов |
| | 5. Настоящее и будущее компьютерной семантики |
| | Литература |
| | Электронные ресурсы |
| Глава 4.Распознавание и синтез речи (Т.Ю.Шерстинова) |
| | 1. Навстречу эпохе говорящих машин |
| | 2. Синтез речи |
| | 2.1. | Методы синтеза |
| | 2.2. | Устройство TTS-синтезатора речи |
| | 2.3. | Модуль лингвистической обработки текста |
| | 3. Распознавание речи |
| | 3.1. | Вариативность речи – главное препятствие для разработчиков систем распознавания речи |
| | 3.2. | Основные типы современных систем распознавания речи |
| | 3.3. | Лингвистический и статистический подходы к распознаванию речи |
| | 3.4. | Скрытые Марковские модели |
| | 3.5. | Как работает статистическая система распознавания речи? |
| | 4. Новые горизонты |
| | Литература |
| | Электронные ресурсы |
| Глава 5.Машинное обучение в лингвистике (Г.Т.Букия, Е.В.Протопопова) |
| | 1. Введение: Формализация задач машинного обучения |
| | 2. Методы машинного обучения |
| | 2.1. | Метрические методы классификации |
| | 2.2. | Статистические методы классификации |
| | 2.3. | Линейные методы классификации |
| | 2.4. | Регрессионные методы |
| | 2.5. | Искусственные нейронные сети |
| | 2.6. | Кластеризация |
| | 3. Заключение |
| | Литература |
| | Электронные ресурсы |
| Глава 6.Корпусная лингвистика (В.П.Захаров) |
| | 1. Корпусы вчера и сегодня |
| | 2. Основные свойства корпуса |
| | 2.1. | Электронный |
| | 2.2. | Репрезентативный |
| | 2.3. | Размеченный |
| | 2.4. | Прагматически ориентированный |
| | 3. Какие бывают корпусы |
| | 3.1. | Параллельные корпусы |
| | 3.2. | Корпусы устной речи |
| | 4. Разметка корпусов |
| | 4.1. | Средства разметки |
| | 4.2. | Лингвистическая разметка |
| | 5. Интернет как корпус |
| | 6. Сервис корпусного менеджера |
| | 7. Как сделать корпус самому |
| | 8. Корпусы как инструмент будущего |
| | Литература |
| | Электронные ресурсы |
Часть 2.Направления |
| Глава 1.Машинный перевод (О.В.Митренина) |
| | 1. Три подхода к машинному переводу |
| | 2. Перевод на основе правил |
| | 2.1. | Три способа перевода с помощью правил |
| | 2.2. | Трансферный подход |
| | 2.3. | Пример словарей и грамматик компании PROMT |
| | 3. Статистический машинный перевод |
| | 3.1. | Главная формула перевода |
| | 3.2. | Модель языка и цепи Маркова |
| | 3.3. | Оценка максимального правдоподобия |
| | 3.4. | Методы сглаживания |
| | 3.5. | Модель перевода |
| | 4. Гибридный перевод |
| | 5. Методы оценки качества перевода |
| | 6. Некоторые современные системы машинного перевода |
| | Литература |
| | Электронные ресурсы |
| Глава 2.Информационный поиск (Д.В.Грановский) |
| | 1. Где ищем? |
| | 2. Что ищем? |
| | 3. Как ищем? |
| | 3.1. | Индекс |
| | 3.2. | В идеальном мире |
| | 3.3. | Тем временем в реальности |
| | 4. Что такое хорошо? |
| | 4.1. | Релевантность, полнота, точность |
| | 4.2. | Фильтрация и ранжирование |
| | 4.3. | Факторы ранжирования |
| | 4.4. | Оценки релевантности |
| | 4.5. | Не все слова одинаково полезны |
| | 5. А где же лингвистика? |
| | 5.1. | Стандартные запчасти |
| | 5.2. | Расширения |
| | 5.3. | Расстояния |
| | 5.4. | Еще немного поисковой лингвистики |
| | Литература |
| | Электронные ресурсы |
| Глава 3.Извлечение информации (Е.А.Филиппова) |
| | 1. Какую информацию извлекаем? |
| | 2. Распознавание сущностей |
| | 2.1. | Какие сущности извлекаем |
| | 2.2. | Зависимость категории от контекста |
| | 2.3. | Неоднозначность идентификации |
| | 2.4. | Концептуальные сложности |
| | 2.5. | Разрешение анафоры и кореферентности |
| | 2.6. | Установление референта |
| | 2.7. | Автоматические подходы |
| | 2.8. | Использование экстратекстуальных сигналов |
| | 3. Извлечение отношений |
| | 3.1. | Какие отношения извлекаем |
| | 3.2. | Обучение моделей на размеченных текстах |
| | 3.3. | Полуавтоматическое создание размеченного корпуса |
| | 3.4. | Временнóе измерение |
| | 4. Извлечение событий |
| | 5. Для тех, кто хочет попробовать сам |
| | Литература |
| | Электронные ресурсы |
| Глава 4.Диалоги и чат-боты (Н.С.Константинова, А.В.Дегтева) |
| | 1. Компьютер притворяется человеком |
| | 2. Особенности диалога на естественном языке |
| | 3. Архитектура диалоговых систем |
| | 3.1. | Модуль понимания естественного языка |
| | 3.2. | Диалоговый менеджер |
| | 3.3. | Модуль генерации естественного языка |
| | 4. Как работают чат-боты |
| | 4.1. | Имитация беседы |
| | 4.2. | Язык AIML и другие подходы |
| | 5. Обучение диалоговых систем на реальных диалогах |
| | 6. Углубление диалога |
| | Литература |
| | Электронные ресурсы |
| Глава 5.Анализ тональности (М.В.Хохлова) |
| | 1. Компьютер отслеживает чувства |
| | 2. С чего начинается оценка? |
| | 3. Как измерить тональность текста |
| | 3.1. | Подход с использованием правил и словарей |
| | 3.2. | Подход с использованием машинного обучения |
| | 4. Как это выглядит на практике |
| | 5. Оценка качества работы алгоритмов |
| | Литература |
| | Электронные ресурсы |
| Глава 6.Компьютерная текстология (Е.Л.Алексеева, Д.М.Миронова) |
| | 1. Что такое текстология |
| | 2. Этапы текстологического исследования рукописной традиции |
| | 3. Компьютер в работе текстолога |
| | 3.1. | Автоматическое сравнение рукописей |
| | 3.2. | Компьютерная классификация рукописей |
| | Литература |
| | Электронные ресурсы |
| Глава 7.Квантитативная лингвистика: что можно сосчитать в языке и речи? (И.С.Николаев) |
| | 1. Буквы и звуки: как определить, на каком языке написан текст? – Дешифровка |
| | 2. Морфемы: как оценить сложность языка? – Типология |
| | 3. Части речи: можно ли определить, о чем текст? – Стилеметрия |
| | 4. Сто слов: как определить возраст языков? – Глоттохронология |
| | 5. Слова, слова, слова: сколько слов мы знаем и сколько нам нужно знать? – Частотные словари |
| | 6. Порядок, строй, парадигма: насколько стройна грамматика? – Квантитативная морфология |
| | Литература |
| | Электронные ресурсы |
| Глава 8.Речевое воздействие и манипулирование (Т.Г.Скребцова) |
| | 1. Что такое речевое воздействие? |
| | 2. Кто и зачем изучает речевое воздействие? |
| | 3. Разновидности речевого воздействия |
| | 4. Языковое манипулирование: приемы и ресурсы |
| | Литература |
| | Электронные ресурсы |
Указатель терминов |
стр. 19, 16 строка снизу: вместо "Вот некоторые их них" следует читать "Вот некоторые из них";
стр. 21, 3 строка сверху: вместо "…для упоминавшийся псевдоосновы" — "…для упоминавшейся псевдоосновы"