Предисловие к первому изданию | 3
|
Введение | 5
|
Глава 1 ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ЭНТРОПИИ ПРИ ОТСУТСТВИИ ПОМЕХ | 9
|
§ 1.1. Определение энтропии в случае равновероятных возможностей | 11
|
§ 1.2. Энтропия в случае неравновероятных возможностей и ее свойства | 13
|
§ 1.3. Условная энтропия. Свойство иерархической аддитивности | 16
|
§ 1.4. Асимптотическая эквивалентность неравновероятных возможностей равновероятным | 21
|
§1.5. Асимптотическая равновероятность и энтропийная устойчивость | 25
|
§ 1.6. Определение энтропии непрерывной случайной величины | 30
|
§ 1.7. Свойства энтропии в обобщенной версии. Условная энтропия | 37
|
Глава 2 КОДИРОВАНИЕ ДИСКРЕТНОЙ ИНФОРМАЦИИ ПРИ ОТСУТСТВИИ ПОМЕХ И ШТРАФОВ | 43
|
§2.1. Основные принципы кодирования дискретной информации | 44
|
§ 2.2. Основные теоремы для кодирования без помех. Равнораспределенные независимые сообщения | 48
|
§ 2.3. Оптимальное кодирование по Хуфману. Примеры | 53
|
§ 2.4. Погрешности кодирования без помех при конечной длине записи | 57
|
Глава 3 КОДИРОВАНИЕ ПРИ НАЛИЧИИ ШТРАФОВ. ПЕРВАЯ ВАРИАЦИОННАЯ ЗАДАЧА | 61
|
§ 3.1 Прямой способ вычисления информационной емкости записи для одного примера | 62
|
§ 3.2. Дискретный канал без помех и его пропускная способность | 64
|
§ 3.3. Решение первой вариационной задачи. Термодинамические параметры и потенциалы | 67
|
§ 3.4. Примеры применения общих методов вычисления пропускной способности | 73
|
§ 3.5. Метод потенциалов в случае большего числа параметров | 79
|
§ 3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии | 82
|
Глава 4 ПЕРВАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА И СВЯЗАННЫЕ С НЕЙ РЕЗУЛЬТАТЫ | 84
|
§4.1. Потенциал Г или производящая функция семиинвариантов | 85
|
§ 4.2. Некоторые асимптотические результаты статистической термодинамики. Устойчивость канонического распределения | 89
|
§ 4.3. Асимптотическая эквивалентность двух видов ограничений | 96
|
§ 4.4. Некоторые теоремы, касающиеся характеристического потенциала | 101
|
Глава 5 ВЫЧИСЛЕНИЕ ЭНТРОПИИ ДЛЯ ЧАСТНЫХ СЛУЧАЕВ. ЭНТРОПИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ | 109
|
§5.1. Энтропия отрезка стационарного дискретного процесса и удельная энтропия | 110
|
§ 5.2. Энтропия марковской цепи | 114
|
§ 5.3. Удельная энтропия части компонент дискретного марковского процесса и условного марковского процесса | 120
|
§ 5.4. Энтропия гауссовых случайных величин | 129
|
§ 5.5. Энтропия стационарной последовательности. Гауссова последовательность | 134
|
§ 5.6. Энтропия случайных процессов в непрерывном времени. Общие понятия и соотношения | 141
|
§ 5.7. Энтропия гауссового процесса в непрерывном времени | 144
|
§ 5.8. Энтропия точечного случайного процесса | 152
|
§ 5.9. Энтропия дискретного марковского процесса в непрерывном времени | 162
|
§ 5.10. Энтропия диффузионных марковских процессов | 165
|
§ 5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса | 170
|
Глава 6 ИНФОРМАЦИЯ ПРИ НАЛИЧИИ ПОМЕХ. ШЕННОНОВСКОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ | 181
|
§6.1. Потери информации при вырожденных преобразованиях и при простых помехах | 181
|
§ 6.2. Информация связи дискретных случайных величин | 186
|
§ 6.3. Условная информация. Иерархическая аддитивность информации | 189
|
§ 6.4. Количество информации связи в общем случае | 195
|
§ 6.5. Информация связи гауссовых величин | 198
|
§ 6.6. Удельная информация стационарных и стационарно связанных процессов. Гауссовы процессы | 205
|
§ 6.7. Информация связи компонент марковского процесса | 212
|
Глава 7 ПЕРЕДАЧА СООБЩЕНИЙ ПРИ НАЛИЧИИ ПОМЕХ. ВТОРАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА В РАЗЛИЧНЫХ ФОРМУЛИРОВКАХ | 226
|
§7.1. Принципы передачи и приема информации при наличии помех | 227
|
§ 7.2. Случайный код и средняя вероятность ошибки | 230
|
§ 7.3. Асимптотическая безошибочность декодирования. Теорема Шеннона (вторая асимптотическая теорема) | 234
|
§ 7.4. Асимптотическая формула для вероятности ошибки | 237
|
§ 7.5. Усиленные оценки для оптимального декодирования | 241
|
§ 7.6. Некоторые общие соотношения между энтропиями и взаимными информациями при кодировании и декодировании | 252
|
Глава 8 ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ. ВАЖНЫЕ ЧАСТНЫЕ СЛУЧАИ КАНАЛОВ | 257
|
§8.1. Определение пропускной способности каналов | 257
|
§ 8.2. Решение второй экстремальной задачи. Соотношения для пропускной способности и потенциала | 260
|
§ 8.3. Вид оптимального распределения и статистическая сумма | 267
|
§ 8.4. Симметричные каналы | 270
|
§ 8.5. Двоичные каналы | 272
|
§ 8.6. Гауссовы каналы | 275
|
§ 8.7. Стационарные гауссовы каналы | 285
|
§ 8.8. Аддитивные каналы | 291
|
Глава 9 ОПРЕДЕЛЕНИЕ ЦЕННОСТИ ИНФОРМАЦИИ | 296
|
§9.1. Уменьшение средних штрафов при уменьшении неопределенности | 297
|
§ 9.2. Ценность хартлиевского количества информации. Пример | 301
|
§ 9.3. Определение ценности шенноновского количества информации и a-информации | 307
|
§ 9.4. Решение третьей вариационной задачи. Соответствующие ей потенциалы | 311
|
§ 9.5. Решение вариационной задачи при некоторых дополнительных предположениях | 320
|
§ 9.6. Ценность больцмановского количества информации | 325
|
§ 9.7. Другой подход к определению ценности шенноновской информации | 329
|
Глава 10 ЦЕННОСТЬ ШЕННОНОВСКОЙ ИНФОРМАЦИИ ДЛЯ ВАЖНЕЙШИХ БЕЙЕСОВСКИХ СИСТЕМ | 334
|
§ 10.1. Система с двумя состояниями | 334
|
§ 10.2. Системы с однородной функцией штрафов | 338
|
§ 10.3. Гауссовы бейесовские системы | 344
|
§ 10.4. Стационарные гауссовы системы | 353
|
Глава 11 АСИМПТОТИЧЕСКИЕ РЕЗУЛЬТАТЫ, КАСАЮЩИЕСЯ ЦЕННОСТИ ИНФОРМАЦИИ. ТРЕТЬЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА | 360
|
§ 11.1. О различии между ценностями различных родов информации. Предварительные формы | 361
|
§ 11.2. Теорема об асимптотической равноценности различных количеств информации | 365
|
§ 11.3. Быстрота исчезновения различия в ценности шенноновской и хартлиевской информации | 376
|
§ 11.4. Другие способы записи основного результата. Обобщения и частные случаи | 386
|
§ 11.5. Обобщенная теорема Шеннона | 392
|
Глава 12 ТЕОРИЯ ИНФОРМАЦИИ И ВТОРОЙ ЗАКОН ТЕРМОДИНАМИКИ | 398
|
§ 12.1. Информация о физической системе, находящейся в состоянии термодинамического равновесия. Обобщенный второй закон термодинамики | 399
|
§ 12.2. Приток шенноновской информации и превращение теплоты в работу | 402
|
§ 12.3. Энергетические затраты на создание и запись информации. Пример | 407
|
§ 12.4. Энергетические затраты на создание и запись информации. Общая формулировка | 410
|
§ 12.5. Энергетические затраты в физических каналах | 413
|
Приложение НЕКОТОРЫЕ МАТРИЧНЫЕ (ОПЕРАТОРНЫЕ) ТОЖДЕСТВА | 416
|
§ П.1. Правило переноса оператора слева направо | 416
|
§ П.2. Детерминант составной матрицы | 417
|
Список литературы | 418
|
Предметный указатель | 420
|