URSS.ru Магазин научной книги
Обложка Стратонович Р.Л. Теория информации Обложка Стратонович Р.Л. Теория информации
Id: 267100
1113 р.

Теория информации Изд. 2

2021. 424 с.
Типографская бумага

Аннотация

Настоящая книга посвящена одному из главных направлений теоретической кибернетики. Дается систематическое изложение важнейших, ставших уже традиционными, результатов шенноновской теории информации, а также ряда новых вопросов, разработанных автором. К числу последних относятся теория ценности хартлиевского, больцмановского и шенноновского количеств информации, аппарат потенциальных функций, использующий параметры типа «температуры». Подчеркивается... (Подробнее)


Оглавление
top
Предисловие к первому изданию3
Введение5
Глава 1 ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ЭНТРОПИИ ПРИ ОТСУТСТВИИ ПОМЕХ9
§ 1.1. Определение энтропии в случае равновероятных возможностей11
§ 1.2. Энтропия в случае неравновероятных возможностей и ее свойства13
§ 1.3. Условная энтропия. Свойство иерархической аддитивности16
§ 1.4. Асимптотическая эквивалентность неравновероятных возможностей равновероятным21
§1.5. Асимптотическая равновероятность и энтропийная устойчивость25
§ 1.6. Определение энтропии непрерывной случайной величины30
§ 1.7. Свойства энтропии в обобщенной версии. Условная энтропия37
Глава 2 КОДИРОВАНИЕ ДИСКРЕТНОЙ ИНФОРМАЦИИ ПРИ ОТСУТСТВИИ ПОМЕХ И ШТРАФОВ43
§2.1. Основные принципы кодирования дискретной информации44
§ 2.2. Основные теоремы для кодирования без помех. Равнораспределенные независимые сообщения48
§ 2.3. Оптимальное кодирование по Хуфману. Примеры53
§ 2.4. Погрешности кодирования без помех при конечной длине записи57
Глава 3 КОДИРОВАНИЕ ПРИ НАЛИЧИИ ШТРАФОВ. ПЕРВАЯ ВАРИАЦИОННАЯ ЗАДАЧА61
§ 3.1 Прямой способ вычисления информационной емкости записи для одного примера62
§ 3.2. Дискретный канал без помех и его пропускная способность64
§ 3.3. Решение первой вариационной задачи. Термодинамические параметры и потенциалы67
§ 3.4. Примеры применения общих методов вычисления пропускной способности73
§ 3.5. Метод потенциалов в случае большего числа параметров79
§ 3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии82
Глава 4 ПЕРВАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА И СВЯЗАННЫЕ С НЕЙ РЕЗУЛЬТАТЫ84
§4.1. Потенциал Г или производящая функция семиинвариантов85
§ 4.2. Некоторые асимптотические результаты статистической термодинамики. Устойчивость канонического распределения89
§ 4.3. Асимптотическая эквивалентность двух видов ограничений96
§ 4.4. Некоторые теоремы, касающиеся характеристического потенциала101
Глава 5 ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ109
§5.1. Энтропия отрезка стационарного дискретного процесса и удельная энтропия110
§ 5.2. Энтропия марковской цепи114
§ 5.3. Удельная энтропия части компонент дискретного марковского процесса и условного марковского процесса120
§ 5.4. Энтропия гауссовых случайных величин129
§ 5.5. Энтропия стационарной последовательности. Гауссова последовательность134
§ 5.6. Энтропия случайных процессов в непрерывном времени. Общие понятия и соотношения141
§ 5.7. Энтропия гауссового процесса в непрерывном времени144
§ 5.8. Энтропия точечного случайного процесса152
§ 5.9. Энтропия дискретного марковского процесса в непрерывном времени162
§ 5.10. Энтропия диффузионных марковских процессов165
§ 5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса170
Глава 6 ИНФОРМАЦИЯ ПРИ НАЛИЧИИ ПОМЕХ. ШЕННОНОВСКОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ181
§6.1. Потери информации при вырожденных преобразованиях и при простых помехах181
§ 6.2. Информация связи дискретных случайных величин186
§ 6.3. Условная информация. Иерархическая аддитивность информации189
§ 6.4. Количество информации связи в общем случае195
§ 6.5. Информация связи гауссовых величин198
§ 6.6. Удельная информация стационарных и стационарно связанных процессов. Гауссовы процессы205
§ 6.7. Информация связи компонент марковского процесса212
Глава 7 ПЕРЕДАЧА СООБЩЕНИЙ ПРИ НАЛИЧИИ ПОМЕХ. ВТОРАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА В РАЗЛИЧНЫХ ФОРМУЛИРОВКАХ226
§7.1. Принципы передачи и приема информации при наличии помех227
§ 7.2. Случайный код и средняя вероятность ошибки230
§ 7.3. Асимптотическая безошибочность декодирования. Теорема Шеннона (вторая асимптотическая теорема)234
§ 7.4. Асимптотическая формула для вероятности ошибки237
§ 7.5. Усиленные оценки для оптимального декодирования241
§ 7.6. Некоторые общие соотношения между энтропиями и взаимными информациями при кодировании и декодировании252
Глава 8 ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ. ВАЖНЫЕ ЧАСТНЫЕ СЛУЧАИ КАНАЛОВ257
§8.1. Определение пропускной способности каналов257
§ 8.2. Решение второй экстремальной задачи. Соотношения для пропускной способности и потенциала260
§ 8.3. Вид оптимального распределения и статистическая сумма267
§ 8.4. Симметричные каналы270
§ 8.5. Двоичные каналы272
§ 8.6. Гауссовы каналы275
§ 8.7. Стационарные гауссовы каналы285
§ 8.8. Аддитивные каналы291
Глава 9 ОПРЕДЕЛЕНИЕ ЦЕННОСТИ ИНФОРМАЦИИ296
§9.1. Уменьшение средних штрафов при уменьшении неопределенности297
§ 9.2. Ценность хартлиевского количества информации. Пример301
§ 9.3. Определение ценности шенноновского количества информации и a-информации307
§ 9.4. Решение третьей вариационной задачи. Соответствующие ей потенциалы311
§ 9.5. Решение вариационной задачи при некоторых дополнительных предположениях320
§ 9.6. Ценность больцмановского количества информации325
§ 9.7. Другой подход к определению ценности шенноновской информации329
Глава 10 ЦЕННОСТЬ ШЕННОНОВСКОЙ ИНФОРМАЦИИ ДЛЯ ВАЖНЕЙШИХ БЕЙЕСОВСКИХ СИСТЕМ334
§ 10.1. Система с двумя состояниями334
§ 10.2. Системы с однородной функцией штрафов338
§ 10.3. Гауссовы бейесовские системы344
§ 10.4. Стационарные гауссовы системы353
Глава 11 АСИМПТОТИЧЕСКИЕ РЕЗУЛЬТАТЫ, КАСАЮЩИЕСЯ ЦЕННОСТИ ИНФОРМАЦИИ. ТРЕТЬЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА360
§ 11.1. О различии между ценностями различных родов информации. Предварительные формы361
§ 11.2. Теорема об асимптотической равноценности различных количеств информации365
§ 11.3. Быстрота исчезновения различия в ценности шенноновской и хартлиевской информации376
§ 11.4. Другие способы записи основного результата. Обобщения и частные случаи386
§ 11.5. Обобщенная теорема Шеннона392
Глава 12 ТЕОРИЯ ИНФОРМАЦИИ И ВТОРОЙ ЗАКОН ТЕРМОДИНАМИКИ398
§ 12.1. Информация о физической системе, находящейся в состоянии термодинамического равновесия. Обобщенный второй закон термодинамики399
§ 12.2. Приток шенноновской информации и превращение теплоты в работу402
§ 12.3. Энергетические затраты на создание и запись информации. Пример407
§ 12.4. Энергетические затраты на создание и запись информации. Общая формулировка410
§ 12.5. Энергетические затраты в физических каналах413
Приложение НЕКОТОРЫЕ МАТРИЧНЫЕ (ОПЕРАТОРНЫЕ) ТОЖДЕСТВА416
§ П.1. Правило переноса оператора слева направо416
§ П.2. Детерминант составной матрицы417
Список литературы418
Предметный указатель420

Об авторе
top
photoСтратонович Руслан Леонтьевич
Выдающийся физик-теоретик, один из создателей теории стохастических дифференциальных уравнений (другое название — стохастическое исчисление). Доктор физико-математических наук, профессор. Родился в Москве. Экстерном окончил школу и получил золотую медаль. В 1947 г. поступил без экзаменов на физический факультет Московского государственного университета. После окончания факультета и аспирантуры МГУ был оставлен в качестве ассистента на кафедре общей физики для механико-математического факультета и в 1956 г. защитил кандидатскую диссертацию. В 1965 г. защитил докторскую диссертацию по теме «Условные марковские процессы и их применение к теории оптимального управления». В 1969 г. занял должность профессора по кафедре общей физики физического факультета МГУ. В 1994 г. получил звание заслуженного профессора МГУ. Лауреат Ломоносовской премии (1984), Государственной премии СССР (1988), Государственной премии России (1996, вместе со своим учеником В. П. Белавкиным).

Научные труды Р. Л. Стратоновича стали основополагающими в таких областях науки, как теория случайных процессов, неравновесная термодинамика, теория информации, синергетика. Он создал стохастическое исчисление, которое является альтернативой к теории интеграла Ито и удобно для применения при описании физических проблем. Ввел стохастический интеграл Стратоновича. Решил проблему оптимальной нелинейной фильтрации, базируясь на своей теории условных марковских процессов, которая была темой его докторской диссертации. Ввел понятие фильтра Стратоновича; линейный фильтр Калмана — специальный случай фильтра Стратоновича. Термины «уравнения Стратоновича», «интеграл Стратоновича—Ито», «ценность информации по Стратоновичу», «нелинейная фильтрация по Стратоновичу» стали общепринятыми в мировой научной литературе.