|
Содержание
Введение 1. Три подхода к понятию сложности сообщений 1.1. Алгоритмический подход 1.2. Комбинаторный подход 1.3. Вероятностный подход 2. Определение и свойства энтропии разбиения 3. Цепи Маркова 3.1. Эргодическая теорема для марковской цепи 3.2. Закон больших чисел для марковской цепи 4. Модели источников сообщений 4.1. Конечные автоматы 4.2. Параметры модели источника сообщений 4.3. Контекстная модель 4.4. Метод трансфер-матрицы 4.5. Скрытые марковские модели 5. Энтропия источника сообщений 5.1. Стационарные источники. Энтропия стационарного источника 5.2. Энтропия марковского источника 5.3. Энтропия источника Бернулли 6. Кодирование 6.1. Префиксные и разделимые множества слов 6.2. Кодирование натуральных чисел 6.3. Теорема кодирования Шеннона 6.4. Побуквенное кодирование 6.5. Равноблочное на выходе кодирование 6.6. Нумерационное кодирование 6.7. Арифметическое кодирование 6.8. Адаптивное и универсальное кодирования 6.9. Интервальное кодирование 6.10. Преобразование Барроуза — Уилера 7. Сложность слова относительно программы 7.1. Схема Лемпела — Зива 7.2. Схема конкатенации 8. Недоопределённые данные 8.1. Энтропия недоопределённых данных 8.2. Энтропия разбиения, при заданной точности воспроизведения 8.3. Кодирование недоопределённых данных 9. Передача сообщений по каналам связи, допускающим ошибки 9.1. Канал связи и его пропускная способность 9.2. Теорема кодирования для канала связи, допускающего ошибки 9.3. Обращение теоремы о помехоустойчивом кодировании 9.4. Избыточность универсального кодирования как пропускная способность некоторого канала А. Предметный указатель Б. Именной указатель Литература |