Дмитриев Е.А. Математическая статистика в почвоведении Изд. стереотип.

Оглавление

Предисловие к третьему изданию

Эта книга последний раз издавалась в 1995 году. Она стала настольной книгой почвоведов. В ней сохранена редакция 2-го издания, но изменена глава ручных вычислений и добавлена глава о непараметрических методах, издававшаяся отдельным пособием.

По этой книге ведется обучение статистике почвоведов во многих высших учебных заведениях. Все изменения в учебник внесены доктором биологических наук Самсоновой Верой Петровной.

Предисловие ко второму изданию

Со времени выхода из печати пособия "Математическая статистика в почвоведении" (1972) многое изменилось и в самом почвоведении, и в использовании почвоведами математических методов, и в техническом оснащении вычислительных работ. Это не могло не вызвать необходимости радикальной перестройки изложения курса, особенно с учетом того, что широкое использование калькуляторов и ЭВМ привело к известному разрыву между технической возможностью проведения статистических расчетов, с одной стороны, и явно недостаточным пониманием необходимости и допустимости самих вычислений, умением грамотно интерпретировать полученные результаты – с другой. По этой причине в настоящем учебнике наряду с изложением основ математической статистики и теории вероятностей и описанием методов статистического анализа и техники вычислений особое внимание уделено методологии использования статистических методов в почвоведении.

Автор постарался учесть все пожелания и замечания, высказанные как в отношении ранее опубликованного пособия, так и по программе курса "Математические методы в почвоведении с основами вычислительной техники" и рукописи настоящего учебника, написанного согласно этой программе.

Автор искренне признателен проф. В.В.Налимову и сотрудникам бывшей лаборатории статистических методов МГУ В.С.Дуженко, А.П.Кириенко, Н.Г.Микешиной и Е.Г.Угер, оказавшим неоценимую помощь на самом трудном адаптационном этапе внедрения методов математической статистики в область почвоведения, проф. И.А.Крупенникову и канд. биол. наук Т.Б.Махлину за рецензию на ранее опубликованное пособие, зав. кафедрой почвоведения Иркутского университета А.Г.Сазонову, рецензировавшему программу курса.

Автор весьма признателен рецензентам настоящего учебника доктору физ.-мат. наук Л.Д.Мешалкину, а также кандидатам физ.-мат. наук А.Д.Кузьмину и В.И.Пагуровой и другим сотрудникам кафедры математической статистики факультета вычислительной математики и кибернетики МГУ, руководимой академиком Ю.В.Прохоровым, проявившим интерес к этой книге и сделавшим немало замечаний, которые автор в меру своих сил и возможностей постарался учесть.

Особую признательность автор хотел бы выразить доктору физ.-мат. наук Ю.Н.Благовещенскому, взявшему на себя труд научного редактирования учебника, и кандидату биол. наук В.П.Самсоновой за постоянное внимание, помощь и неизменно доброжелательную критику. Автор не может не поблагодарить широкий круг почвоведов за ту помощь, которую они оказали, иногда сами того не ведая, в написании учебника, в разработке методологических вопросов, подборе примеров и их интерпретации.

В 1988 г. скончался проф. Н.А.Плохинский, живое слово которого сыграло в научной жизни автора весьма заметную роль. Светлой памяти Николая Александровича Плохинского автор посвящает эту книгу.

Введение

Математизация почвоведения, интенсивно идущая последние 30–40 лет и несомненно являющаяся естественным результатом развития, с одной стороны, самого почвоведения, а с другой – математики и вычислительной техники, была предугадана гением В.В.Докучаева, связавшего превращение созданной им науки в точную с возможностью, в частности, преодоления тех трудностей, которые возникают в связи с необходимостью иметь дело с переменными величинами, трудно поддающимися "цифровому обозначению" (Докучаев, 1886). К мысли о статистической природе свойств почв почвоведы пришли давно и по крайней мере до того, как статистические методы анализа данных нашли применение в исследовании почв. Отражением этих представлений, например, явилась дискуссия по целесообразности использования смешанных образцов, развернувшаяся на страницах журнала "Почвоведение" еще в 1901 г.

По-видимому, первые опыты по использованию статистических методов в почвоведении относятся к 20-м гг. XX в. (Чириков, Малюгин, 1926; Качинский, 1926, 1927; Астапов, 1928; Соколов, 1929; Изюмов, 1930 и др.), чему немало способствовало появление литературы по математической статистике прикладного характера (Голубев, 1920; Сапегин, 1922; Филиппченко, 1926; Поморский, 1927 и др.). И хотя до конца 50-х -начала 60-х гг. статистические методы использовались очень скромно, в этот период появляется ряд работ весьма ярких и не потерявших своего значения до настоящего времени (Сердобольский, 1937, 1952; Филиппова, Сердобольский, 1937; Важенин и др., 1959, 1961; и др.). Интенсивное внедрение статистических методов в почвоведение, особенно начиная с 60-х гг., было инициировано и подготовлено работами по прикладной статистике в смежных областях науки, в том числе сельскохозяйственной (Немчинов, 1945; Перегудов и др., 1948; Федоров, 1957; Финни, 1957; Фишер, 1958; Снедекор, 1961 и др.).

В последние годы набор методов статистического анализа данных в почвоведении значительно расширился, и что особенно важно, были показаны интерпретационные возможности разных методов, без чего немыслимо грамотное и гибкое их использование. Наряду с получившими широкое распространение наиболее простыми методами дисперсионного, корреляционного и регрессионного анализа стали достаточно часто использоваться методы факторного анализа, теории случайных процессов, дискриминантного анализа. Все более интенсивно внедряются методы непараметрической статистики. Много сделано в области математического планирования экспериментов и др. В общем и целом особенностью в использовании статистических методов в последние годы можно считать повышение интереса к многомерной статистике.

Долгие годы статистика служила лишь средством свертки информации и оценки надежности выводов. Не утратив этого назначения, статистика со своим обширным набором методов сейчас все более часто выступает в качестве метода познания объекта, инструмента анализа данных. Как особое направление анализ данных (Мостеллер, Тьюки, 1982) опирается на весьма правдоподобное допущение, что любой массив грамотно собранных результатов экспериментальных исследований неисчерпаем по заключенной в нем информации, и нужно лишь уметь эту информацию извлечь, нужно заставить экспериментальные данные заговорить. В качестве средства, позволяющего это сделать, и используется широкий набор различных статистических методов анализа.

Использование статистических методов в почвоведении представляется не просто возможным, а жизненно необходимым, поскольку главный объект исследования -почва, почвенный покров -является едва ли не самым сложным природным образованием. Подобные образования в математике относятся к так называемым диффузным, или сложным, системам, в которых имеет место действие и взаимодействие множества разнородных факторов, определяющих протекание различных по своей природе, но в большей или меньшей мере связанных друг с другом, процессов. При изучении таких систем учесть все факторы и процессы, ими вызываемые, практически невозможно, тем более, что даже в самых простых ситуациях какие-то факторы или процессы могут оказаться просто неизвестными. В подобных случаях обойтись без идей и методов математической статистики почти невозможно.

Строго говоря, в экспериментальном почвоведении сейчас трудно найти область исследования, в которой можно было бы, оставаясь на уровне современного развития науки, обойтись без методологии и методов математической статистики. Начиная с подготовительного этапа эксперимента и вплоть до представления окончательных результатов и их трактовки статистические особенности объекта исследования дают о себе знать.

Рассмотрим для примера несколько типичных ситуаций, с которыми почвоведам постоянно приходится сталкиваться.

Допустим, для характеристики некоторого участка почвенного покрова из разреза отобраны образцы по горизонтам. С помощью гранулометрического анализа установлено, что в горизонте А₁ содержание ила 23,4%, а в горизонте А₂ – 21,2%. Можно ли на основании этих данных высказать какие-либо заслуживающие доверия заключения, если не прибегать к идеям и методам математической статистики? Оказывается, нет. Действительно, даже чтобы утверждать, что в одном образце ила больше, чем в другом, нужно знать случайные погрешности анализов и уметь их соответствующим образом сопоставить с полученными данными по содержанию ила в образцах, а это уже предполагает статистический подход к решению вопроса. Тем более полученные результаты неосторожно трактовать как свидетельство различий в содержании ила не только в образцах, но и в горизонте А₁ и горизонте А₂ на изучаемом участке почвенного покрова. Подобное утверждение было бы спорным, даже если определенное в исследовавшихся образцах содержание ила было бы лишено всяких погрешностей, поскольку остается открытым вопрос, сохраняется ли подобное различие в других частях изучаемого участка почвенного покрова. Здесь на сцену снова выходят статистические соображения и без их учета задачу решить весьма трудно.

Логика подсказывает, что для обоснованного заключения о том, что в горизонте А₁ исследуемого участка почвенного покрова содержание ила больше, чем в горизонте А₂, нужно исследовать не одну пару образцов, а несколько, но тогда нужно оценить число пар таких образцов и способ их отбора, решить, как поступить с результатами анализов, а все это опять-таки нельзя сделать без привлечения соответствующих статистических методов и приемов.

Не исключает статистического подхода и замена индивидуальных образцов смешанным, поскольку вопрос о числе индивидуальных образцов, требующихся для приготовления смешанного, относится к категории статистических задач, да и сама идея замены индивидуальных образцов смешанными по своей сути имеет статистическую основу.

Ни у кого не возникает сомнений в необходимости использования статистических методов при рассмотрении часто возникающих задач о связях между свойствами и явлениями, поскольку в почвоведении такие связи практически почти никогда не имеют четко выраженного функционального характера. Некоторые же проблемы почти невозможно решить без привлечения методов статистического анализа. Это относится, например, к случаю, когда требуется выяснить, почему при анализе образцов разного объема, отобранных из одной и той же почвы, средние величины изучаемого признака обнаруживают отчетливую зависимость от размеров образцов.

Очевидно, перечень задач и ситуаций, когда статистические методы могут и должны привлекаться для обработки и анализа данных, для оценки надежности выводов и рекомендаций, можно было бы существенно расширить. Значительно труднее найти примеры в области экспериментального почвоведения, где бы идеи и методы математической статистики были бы не нужны. При этом обращают на себя внимание два обстоятельства, о которых нельзя умолчать. Первое из них касается влияния методов математической статистики на технику проведения исследований в почвоведении. Второе, тесно связанное с первым, -формирование иных методов мышления, когда учитывается вероятностная природа и статистический характер тех явлений, которые почвоведами исследуются.

Сейчас уже стало несомненным фактом то, что методы математической статистики, привлекаемые для решения тех или иных вопросов, постепенно начинают оказывать определенное давление на экспериментатора, заставляя его менять саму стратегию проводимых исследований. Традиционно обращение к статистике происходило на этапе осмысливания собранного фактического материала, и при этом очень часто обнаруживалось, что стоящие перед исследователем задачи можно было бы успешно решить с помощью некоторого статистического приема, однако техника сбора эмпирической информации оказалась такой, которая использование этого приема анализа исключает. Статистические методы не менее требовательны к особенностям данных, способам их получения и организации, чем обычные методы анализа почв, регламентирующие способ подготовки образцов, чистоту реактивов и пр. Недопустимо, например, определять содержание гумуса по Тюрину, не отобрав крупных корней и не растерев соответствующим образом пробу почвы, хотя технологически такой анализ выполним и даст какой-то результат. Статистические анализы также обычно технологически выполнимы, но это отнюдь не свидетельствует о принципиальной применимости соответствующего метода. Нетрудно догадаться, что об обеспечении пригодности того или иного статистического метода нужно заботиться существенно раньше, чем на стадии анализа данных.

Таким образом, математическая статистика вынуждает экспериментатора с иных позиций подходить к постановке проводимых исследований, заставляет менять набор и последовательность этапов их выполнения. С учетом стоящих перед экспериментатором задач, он должен:

– более четко, более конкретно сформулировать те вопросы, на которые должен быть получен ответ, в терминах и понятиях соответствующей области знания;

– перевести эти вопросы на язык статистических задач, на язык абстрактных понятий математической статистики;

– для решения соответствующей статистической задачи среди известных статистических методов выбрать наиболее подходящий, учитывая при этом специфику объекта исследования, особенности изучаемого свойства, возможные способы опробования объекта и технические возможности их реализации и пр.;

– зная требования к данным, подлежащим статистическому анализу, и условия применимости выбранного статистического метода, спланировать сам эксперимент;

– провести эксперимент;

– полученные в эксперименте результаты подвергнуть статистическому анализу ранее запланированным методом и на основании такого анализа сделать выводы и заключения, сформулированные в терминах и понятиях математической статистики;

– сформулировать выводы и заключения на языке конкретной науки.

С точки зрения автора описанная выше схема постановки экспериментов представляется наиболее желательной. Однако такая схема далеко не всегда оказывается легко реализуемой, и нужно быть готовым, например, к тому, что планировавшийся для статистического анализа метод оказывается мало пригодным по причине внутренних особенностей данных, полученных при проведении эксперимента. Это вызывает необходимость либо какого-то преобразования исследуемых величин, либо замены планировавшегося метода анализа на иной, более пригодный для решения задачи. При этом всегда нужно помнить, что хорошо спланированный эксперимент обычно отличается тем, что собранный массив данных можно анализировать с помощью разных методов, нужно лишь эти методы знать и умело ими пользоваться.

Трудности в реализации всех этапов проведения эксперимента имеют разную природу и не могут быть оценены с единых позиций. Но если считать, что необходимость как получения эмпирических данных, так и их статистического анализа, обсуждению не подлежат, то наиболее трудными этапами оказываются переформулировка задач с языка специальной науки на язык математической статистики, с одной стороны, с другой -перевод результатов исследования, полученных в понятиях и терминах статистики и теории вероятностей, в выводы на языке конкретной науки. И дело здесь не только в том, что в первом случае, например, нужно знать методы, пригодные для решения статистических задач того или иного характера. Это само собой разумеется. Существенно более важно другое -наличие умения и опыта мыслить статистически, понимание того, что без представлений о вероятностной природе явлений едва ли удастся дать достаточно естественное описание тех сложных структур, с которыми имеет дело экспериментатор. Математическому мышлению, предполагающему строгость в употреблении понятий и логичность заключений, умению видеть статистическую природу изучаемых явлений, нужно учиться, без этого почвоведение не сможет стать на уровень современных требований развития науки.

Понимание вероятностно-статистической природы объектов и явлений в экспериментальном почвоведении необходимо не только в связи с использованием для анализа данных тех или иных статистических методов. Статистические законы в почвоведении действуют независимо от исследователя и вне связи с тем, используются статистические методы или нет, знает почвовед теорию вероятности и математическую статистику или представления о них не имеет. Объективность действия статистических законов, вероятностный характер подавляющего большинства явлений, с которыми имеет дело почвовед, определяет необходимость не только широкого привлечения соответствующих математических методов, но прежде всего умения мыслить вероятностно-статистическими категориями.

Академик Б.В.Гнеденко писал: "Математизация знаний в период научно-технического прогресса является не данью моде или прихотью математиков, а неизбежной необходимостью. Много веков назад великий английский мыслитель Френсис Бэкон сказал, что как для повышения урожая плодов необходимо, в первую очередь, ухаживать не за ветвями дерева, а за его корнями, давая им подкормку, взрыхлять почву, так и для прогресса научного познания законов природы и использования в жизненной практике необходимо наши знания поставить на точную количественную основу. А там, где речь идет о количестве, там не обойтись без математики, без широкого привлечения ее понятий, методов и специфических для нее методов мышления".

Привлечение математических понятий и методов в почвоведение идет и достаточно успешно. Сложнее обстоит дело с освоением методов математического мышления. Рассмотрению этих вопросов в их логической связи и посвящен настоящий учебник.

Об авторе