Яглом А.М., Яглом И.М. Вероятность и информация Изд. 4, стереот.

Оглавление

Из предисловия к первому изданию

За долгие годы сложилось такое положение, когда почти никакие сведения об интенсивной научной работе, ведущейся в области теоретической математики, не проникают за рамки узкого круга математиков-профессионалов; это обстоятельство вызывает даже иногда у неспециалистов совершенно неправильное представление об определенной "завершенности" математики, делающей исследовательскую работу в этой области почти невозможной или, во всяком случае, очень трудной. Причина такого положения кроется в том, что подавляющее большинство работ, печатающихся в математических журналах, относится к достаточно развитым разделам этой науки, с которыми трудно ознакомить лиц, не имеющих специальной подготовки; что же касается более элементарных частей математики, вроде элементарной геометрии, то трудно рассчитывать, чтобы за многовековую историю науки здесь были не замечены какие-либо факты или теоремы, имеющие действительно большое принципиальное значение. Естественно, что и новые большие направления, возникшие в математике за последние десятилетия, как правило, оперируют с достаточно сложными понятиями и представлениями, мало доступными для популяризации. Тем более значительной представляется заслуга замечательного американского математика и инженера Клода Шеннона, который в 1947–1948 гг. сумел указать новую важную область математики, истоки которой связаны с совсем элементарными соображениями.

Основные задачи, которые ставил перед собой Шеннон при создании того направления, которое в последующие годы получило название "теория информации", были связаны с чисто техническими вопросами электросвязи и радиосвязи. Вообще говоря, новые применения математики в технике и естествознании обычно бывают связаны с использованием сложного математического аппарата и, кроме того, чаще всего не могут быть объяснены без глубокого проникновения в суть запутанных проблем современной науки и техники; поэтому возможности популяризации практических достижений математики сегодняшнего дня также являются весьма скромными. Именно поэтому представления неспециалистов о прикладном значении математики зачастую ограничиваются заимствованными из школьного курса сведениями о том, что геометрия еще в древнем Египте использовалась для восстановления границ земельных участков после разливов Нила, и некоторыми другими того же рода. И в этом отношении изложение круга идей, связанных с теорией информации, представляется крайне заманчивым, так как простейшие практические приложения этих идей к современным техническим вопросам вполне могут быть объяснены читателям, обладающим минимальной математической и технической подготовкой.

Настоящая книжка, рассчитанная на широкий круг читателей (для понимания всего ее содержания достаточно знакомства с математикой в объеме курса средней школы), разумеется, ни в какой мере не претендует на то, чтобы служить хотя бы только элементарным введением в теорию информации как научную дисциплину. Мы могли дать здесь лишь поверхностное представление о важных практических приложениях этой теории; также и глубокие чисто математические проблемы, связанные с теорией информации, никак не могли быть здесь раскрыты. Основная цель, которую поставили перед собой авторы, гораздо проще – она состоит в том, чтобы ознакомить читателя с некоторыми несложными, но весьма важными, новыми математическими понятиями и на примере этих понятий показать один из возможных путей использования математических методов в современной технике.

Первая глава книги посвящена разъяснению старого (введенного еще в XVII веке) понятия вероятности, знакомство с которым необходимо для понимания всего дальнейшего содержания. Во второй главе рассматриваются введенные Шенноном понятия энтропии и информации, общетеоретическое значение которых было оценено математиками лишь в самое последнее время. Третья и четвертая главы посвящены примерам и приложениям; в отличие от первых двух глав строгие доказательства приводимых утверждений здесь зачастую лишь намечены или вовсе опущены, а в некоторых местах и сами утверждения сформулированы лишь в форме весьма правдоподобных предположений. При этом в третьей главе польза понятий энтропии и информации иллюстрируется на примерах с загаданными числами, фальшивыми монетами и т.п., кое в чем напоминающих те "игрушечные " задачи с игральными костями и картами, на которых в XVII в. зародилась теория вероятностей; более содержательные приложения технического порядка сосредоточены в четвертой главе. Мы рассчитываем, что ознакомление с третьей главой поможет читателю лучше почувствовать смысл основных понятий, введенных в главе II, и тем самым подготовиться к изучению наиболее сложной четвертой главы, использующей к тому же некоторые результаты третьей.

Книга предназначена для всех любителей математики и в первую очередь для тех, кто ее в настоящее время преподает или изучает; наряду с этим мы рассчитываем, что она может быть небезынтересной и для многих читателей, имеющих по своей специальности дело с техникой связи, но не обладающих солидной математической подготовкой. В основу книги положена лекция, прочитанная одним из авторов московским школьникам – участникам школьного математического кружка при Московском государственном университете; содержание лекции здесь значительно расширено.

Авторы выражают искреннюю признательность А, Н.Колмогорову, ценные советы которого способствовали значительному улучшению книги. Они благодарны также редактору книги М.М.Горячей, замечания которой помогли устранить некоторые дефекты изложения.

Москва, май 1956 г.

Из предисловия ко второму изданию

Второе издание книги "Вероятность и информация" по структуре почти не отличается от первого издания; читатель, вздумавший сравнить оглавления двух изданий книги, отметит, что различия здесь весьма незначительны. Не изменился также и характер книги, предполагающей у читателя весьма скромные математические знания (недостаток которых, впрочем, должен компенсироваться известной настойчивостью). При всем том частные различия между двумя изданиями настолько значительны, что смело можно говорить о новой книге.

Столь большие изменения частично связаны с тем, что эта книга посвящена очень молодой и бурно развивающейся отрасли науки, для которой два года, прошедшие со дня выхода в свет первого издания, – это большой срок. Кое-что стало за эти дна года яснее авторам книги; многое удалось почерпнуть из многочисленных новых книг и статей – в последнее время количественный рост литературы по теории информации происходит с нарастающей интенсивностью. Но особенно необходимой стала переработка первого издания из-за одного просчета авторов.

Эта книга родилась из лекции, прочитанной московским школьникам, – и авторы твердо запомнили ее происхождение, на которое читатели, по-видимому, обратили мало внимания. Соответственно этому в предисловии к книге было указано, что она "предназначается для всех любителей математики и в первую очередь для тех, кто ее в настоящее время преподает или изучает". При этом мы, однако, просмотрели еще одну, весьма многочисленную категорию читателей – лиц, серьезно интересующихся именно теорией информации (а не математикой вообще), но не желающих начинать ее изучение со специальной литературы, овладение которой требует и времени и труда. Больше всего замечаний об этой книге мы получили от математиков и от инженеров-связистов – и наши уверения, что книга не рассчитана ни на тот, ни на другой круг читателей, не производили на них никакого впечатления. Удивившая авторов быстрота, с которой первое издание книги исчезло из магазинов, появление переводов на несколько иностранных языков (венгерский, немецкий, французский, японский) – все это вынуждало считать, что книга ответила какой-то насущной потребности и заставило внимательно продумать вопрос о том, как эту потребность лучше удовлетворить.

Мы и теперь склонны полагать, что наша книга мало подходит для изучения предмета специалистами по теории вероятностей или по теории связи – первым естественно рекомендовать небольшую, но тщательно написанную книгу А.Файнстейна [5]; для читателей же второй категории наиболее подходящей книгой явится, по-видимому, интересная книга Ф.М.Вудворда [4]. Также и физикам или биологам, заинтересовавшимся идеями Шеннона, естественно обратиться не к нашей книге, а к книгам Л.Бриллюэна [2] (физика) и У.Р.Эшби [11] (биология). Однако всем этим категориям читателей, возможно, будет небезынтересно ознакомиться и с настоящей, значительно более элементарной книгой. Лишь только филологам, которые уже на сегодняшний день представляют собой довольно значительную группу "потребителей" теории информации, нам нечего порекомендовать, что заставило нас при подготовке второго издания книги отнестись с большим вниманием к их возможным запросам. И если при подготовке нового издания мы по-прежнему отвергали любой материал, включение которого повысило бы уровень математической подготовки, необходимый для чтения книги, то при этом теперь уже имелись в виду не только учащиеся средней школы, но и биологи или филологи, не знакомые с высшей математикой.

Новая точка зрения на круг читателей книги обусловила ряд существенных изменений в ее тексте. Так, например, из нового издания исчезли русские буквы Э (энтропия) и И (информация), которые, быть может, и облегчали чтение книги некоторым совсем неопытным читателям, но зато, наверно, были неудобны для всех тех, кто имел (или пожелал бы иметь в дальнейшем) дело также и с другой литературой по этому предмету, использующей иные обозначения. Естественно также было уже в главе II уделить достаточно внимания статистическому толкованию понятия энтропии, делающему его столь плодотворным для всех практических приложений теории информации. Заметно расширена последняя глава книги, имеющая наибольшее прикладное значение; объем книги увеличился также за счет напечатанного мелким шрифтом (и могущего быть опущенным при первом чтении) материала, где, учитывая интересы математиков, мы, в частности, привели строгие доказательства некоторых предложений, лишь сформулированных в основном тексте. Изменился и характер иллюстрирующих текст задач: в новом издании реже встречаются упражнения на урновую схему и математические развлечения, зато чаще – вопросы, в которых реально может быть использована теория информации. Однако мы не стали менять принятую в первом издании терминологию, в некоторых случаях отличающуюся от используемой в научной литературе заменой специальных терминов более "обыкновенными" словами (например "линия связи" вместо "канала связи", "энтропия опыта" вместо "энтропии распределения вероятностей " и т.п.). Мы сохранили также в книге целую главу, специально посвященную "задачам на смекалку", поскольку, по существу, в этих задачах в новой (и довольно привлекательной) форме рассматриваются достаточно серьезные вопросы, непосредственно связанные с задачами наиболее экономной передачи сообщений. Эту связь, которую, как оказалось, просмотрели некоторые из читателей первого издания книги, мы теперь осветили несколько подробнее, чем раньше.

К новому изданию книги приложена библиография, отсутствующая в первом издании. Убедившись (в частности, и на опыте нашей работы над книгой) в удобстве, которое представляет для любых расчетов, связанных с теорией информации, наличие таблицы значений функции – р log р (где 0 =< р=< 1), мы поместили такую таблицу, заимствованную из сборника [46], в качестве третьего приложения к книге. Мы сохранили в этой таблице двоичную систему логарифмов; в книге, однако, используются более привычные большинству читателей десятичные логарифмы (тем более, что нам хотелось разрушить имеющееся у некоторых инженеров представление о том, что основой теории информации является использование именно двоичных логарифмов).

Наконец, самым значительным изменением является добавление к главе IV специального § 3, содержащего сводку данных об информации, содержащейся в конкретных типах сообщений (письменная и устная речь, музыка, телевизионные и фототелеграфные изображения); в конце этого параграфа кратко указаны также некоторые данные о пропускной способности различных линий связи. Этот параграф является самым большим в книге; он мало связан с последующим текстом и вполне может быть опущен читателем, интересующимся лишь математической стороной теории информации. Нам, однако, кажется, что значительно больше будет таких читателей, для которых этот параграф окажется как раз наиболее интересным. По своему характеру § 3 гл.IV несколько отличается от остальной книги – фактически он представляет собой обзор большого числа сравнительно специальных работ, опубликованных за последние годы в различных научных и научно-технических журналах. Для удобства читателей, специально интересующихся той или иной областью приложений теории информации, мы во всех случаях точно указали источники, содержащие более подробное изложение упоминаемых нами результатов (основная часть приложенной к книге библиографии относится именно к этому параграфу), и постарались сделать наш обзор по возможности более полным (в той мере, в какой это было возможно без уменьшения степени элементарности книги). Однако надо иметь в виду, что при той интенсивности, с которой в настоящее время во всем мире ведется работа по изучению статистических свойств сообщений и линий связи, можно опасаться, что уже к моменту выхода книги в свет приведенный в ней обзор не сможет претендовать на полноту, а еще через некоторое время собранные в нем данные и вовсе устареют. Нам тем не менее кажется, что и тогда § 3 гл.IV не будет бесполезным: ведь основная его цель – дать представление о порядке величин количества информации, встречающихся в науке и технике, и проиллюстрировать общее направление вдохновленных теорией информации технических, филологических и биологических исследований, а вовсе не служить основой для дальнейшей научной работы специалистов.

В заключение нам хочется искренне поблагодарить всех читателей нашей книги, поделившихся с нами своими соображениями, способствовавшими улучшению нового издания, в том числе С.Г.Гиндикина, А.Н.Колмогорова, B. И.Левенштейна, П.С.Новикова, И.А.Овсеевича, C. М.Рытова, В.А.Успенского, Г.А.Шестопал, М.И.Эйдельнанта и особенно – Р.Л.Добрушина и А, А.Харкевича. Мы признательны также В.А.Гармашу, Л.Р.Зиндеру, Д.С.Лебедеву и Т.Н.Молошной за полезные беседы, которые мы имели с ними по вопросам, связанным с содержанием § 3 гл.IV книги.

Москва, март 1959 г.

Предисловие к третьему изданию

Первое издание настоящей книги вышло в свет в 1957 г., а второе – в 1960 г.; настоящее же третье издание по времени отстоит от второго на 13 лет. В таком большом перерыве между изданиями виноваты в первую очередь мы сами. Второе издание этой книги давно превратилось в библиографическую редкость, запросы же от читателей продолжали поступать – и издательство неоднократно обращалось к нам с предложением об ее переиздании; мы, однако, никак не могли на это решиться. Нам было ясно, что книгу нельзя оставить в том виде, который она имела во втором издании, ибо необходимо было как-то откликнуться на существенные изменения, происшедшие за эти годы в теории информации; коренная же переработка книги (сопровождаемая даже изменением ее названия, как многие нам советовали) явно требовала слишком большого труда и была нам, пожалуй, не под силу.

В конце концов мы пошли по тому пути, который почти всегда избирают люди, поставленные в затруднительное положение, – по пути компромисса. Настоящее, третье издание книги сохранило прежнее название и многое из первоначального ее облика; так, например, мы по-прежнему не предполагаем у читателя никаких знаний, выходящих за пределы школьного курса математики. Таким образом, книга эта все еще остается более простой, чем все имеющиеся учебные и монографические изложения теории информации. Мы, однако, не могли игнорировать и то обстоятельство, что, к нашему удивлению, второе издание "Вероятности и информации" как в нашей стране, так и за рубежом в ряде случаев использовалось в качестве основного пособия при чтении курсов лекций в высшей школе – и при переработке и пополнении текста стремились сделать книгу более подходящей для такого, ранее не предвиденного нами, ее употребления. В частности, мы отказались, наконец, от использования в книге десятичных логарифмов и непривычных десятичных единиц измерения количества информации (дитов), уничтожив тем самым последнее прямое свидетельство происхождения этой книги из лекции, прочитанной много лет назад учащимся средней школы.

Наибольшей переработке подверглась последняя глава книги, являющаяся в ней самой важной, так как фактически главы I–III представляют собой лишь введение в основное содержание книги, сосредоточенное в главе IV. Имея в виду читателей, желающих ознакомиться по книге с основами математической теории информации, мы включили в § 2 гл.IV изложение оптимальных кодов Хафмана (более важных теоретически, чем рассматривавшиеся и в предыдущих изданиях коды Шеннона – Фано) и существенно переработали доказательство основной теоремы о кодировании при отсутствии помех, сделав его более кратким и математически четким; еще более изменен § 4, где, в частности, приведены два новых доказательства основной теоремы о кодировании при наличии помех вместе с простым доказательством обратной теоремы о кодировании. Той же цели служит и включение в первую главу книги закона больших чисел, позволившее сделать некоторые последующие выводы более строгими, а также заметное увеличение числа ссылок на серьезную научную литературу, к изучению которой естественно перейти после ознакомления с нашей книгой.

Однако наиболее существенным обстоятельством, которое нужно было учесть при подготовке книги к переизданию, было то, что за последние два десятилетия сама проблематика теории информации существенно изменилась: в настоящее время теория информации – это, в первую очередь, теория кодирования, бурное развитие которой невозможно было даже предсказать в период подготовки к печати предыдущего издания. Поэтому сегодня даже популярная книга по теории информации, полностью игнорирующая то ее направление, которое вызывает наибольший интерес и у теоретиков, и у инженеров-практиков, и на котором сосредоточена львиная доля усилий специалистов по теории информации во всем мире, представляется в чем-то неуместной. С другой стороны, общий характер теории кодирования и математические средства и методы, применяемые в этой важной и изящной области прикладной математики, очень существенно отличаются от основного содержания нашей книги; переориентация книги в сторону теории кодирования вызвала бы необходимость всю ее переписать заново. Поэтому мы и здесь ограничились полумерами: добавленный к главе IV совсем новый заключительный параграф дает лишь самое первое представление о задачах и методах теории кодирования; с другой стороны, и в своем настоящем виде этот параграф заметно отличается от остального содержания книги. Это различие побудило нас пополнить книгу новым Приложением II, посвященным некоторым чисто алгебраическим понятиям и предложениям (но зато мы смогли исключить имевшееся в старых изданиях Приложение II, ставшее ненужным после внесения некоторого усовершенствования в изложение теоремы о кодировании при отсутствии помех). Строго говоря, новое Приложение II не необходимо для понимания содержания § 5 гл.IV, посвященного теории кодирования; однако читатель, просмотревший его до ознакомления с содержанием указанного параграфа, будет, по-видимому, лучше представлять себе возможности дальнейшего развития и обобщения результатов этого параграфа.

Особое место в книге занимает § 3 последней главы – об этом достаточно подробно говорилось в предисловии ко второму изданию. Содержащаяся в нем сводка данных, касающихся конкретных типов сообщений, является единственной известной нам сводкой такого рода в литературе – последнее обстоятельство побудило нас постараться расширить и этот параграф, включив в него обзор большого числа более новых работ. Разумеется, несмотря на существенное увеличение относящейся сюда библиографии, мы не можем претендовать на то, что охватили всю литературу по рассматриваемым темам – бесспорно в ней упущено большое число работ, разбросанных по огромному числу журналов самого разного профиля. Мы должны также предупредить читателя, что проверка имеющихся в отдельных исследованиях числовых данных и анализ степени их статистической достоверности никак не входили в наши задачи – в этом отношении, как нам кажется, вообще очень многое еще только предстоит сделать. Однако несмотря на то, что не все приведенные в § 3 данные вызывают полное доверие, включение всего этого материала в книгу является оправданным – оно позволяет читателю получить достаточно полное представление о достигнутых к настоящему времени результатах в области конкретно-информационных исследований и об общей направленности ведущихся здесь работ.

Разумеется, большое число связанных с теорией информации направлений оказалось совсем не затронутым в нашей книге. Помимо естественной невозможности "объять необъятное", последнее отчасти связано со стремлением в какой-то мере сохранить в настоящем издании тот облик, который имела эта книга раньше. Так, например, мы по-прежнему почти полностью игнорируем в ней задачи, связанные с оценками энтропии и информации опытов с бесконечным множеством возможных исходов (по поводу относящихся сюда общих понятий и определений см., например, [17]). Мы совсем не касаемся также так называемого "алгоритмического" подхода к понятию количества информации (о нем см., например, важные работы [15] и [16]) и лишь совсем вкратце упоминаем (в § 3 гл.IV) о комбинаторном определении соответствующих понятий. Наконец, целиком вне рамок этой книги остаются все, пока еще сугубо предварительные, попытки расширительного толкования понятия информации, выходящего за рамки теории Шеннона (типа "семантическом информации" или "тезаруса"; см., например, [18]–[19а]). Главным достоинством предисловий является, как известно, то, что в них можно выразить благодарность всем, кто помог авторам в их работе. А.Н.Колмогоров любезно предоставил нам свою рукопись, на основе которой было составлено описание принадлежащего ему существенного уточнения шенноновского метода определения энтропии письменного текста при помощи опытов по отгадыванию; некоторые относящиеся сюда материалы передал нам также А.В.Прохоров. В.В.Иванов, И.А.Овсеевич, Н.В.Петрова, Б.С.Цыбаков и В.Эндрес (Дармштадт, ФРГ) обратили наше внимание на некоторые литературные источники, использованные при пополнении § 3 гл.IV. На содержании ряда мест книги отразились наши многочисленные беседы с Р.Л.Добрушиным на темы теории информации. Редактор третьего издания С.3. Стамблер внимательно прочел весь текст и способствовал его улучшению; он также передал нам большой список дополнительной литературы, частично использованный в работе над книгой. Нам приятно выразить всем перечисленным здесь лицам нашу искреннюю признательность.

Москва, май 1972 г.

Об авторах

Известный российский математик и физик, доктор физико-математических наук (1955), профессор (1958). Работал в Институте теоретической геофизики АН СССР (с 1946 г.), в Институте физики атмосферы (с 1956 г.); одновременно преподавал в Московском государственном университете им. М.В.Ломоносова. Основные научные интересы – теория вероятностей и ее приложения, теория информации, теория турбулентности, теоретическая физика.

Исаак Моисеевич Яглом (1921–1988)

Известный российский математик и педагог, автор популярных учебных и образовательных книг по математике. Доктор физико-математических наук, профессор. Был одним из соавторов знаменитого трехтомника "Задачи и теоремы элементарной математики", ставшего на долгие годы основным руководством для многих любителей математики. Кроме популярных математических задачников и пособий, И.М.Яглом выпустил ряд работ по истории математики, в которых исследуются связи математики с естественными и гуманитарными науками, а также ее роль в жизни общества.