Информация или интуиция? - Алексей Шилейко

ДВА ОПРЕДЕЛЕНИЯ ЭНТРОПИИ

А поведать мы собираемся вот о чем. По определению, энтропия суть логарифм статистического веса. Это самое правильное определение энтропии, и именно оно встречается в большинстве серьезных учебников статистической физики.Есть, однако, второе определение, и встречается оно даже чаще первого. Согласно этому определению энтропия данного состояния физической системы определяется как величина, пропорциональная логарифму вероятности данного состояния. В качестве коэффициента пропорциональности обычно выбирают так называемую постоянную Больцмана, k, имеющую размерность эрг/°К (читается эрг на градус). Мы уже отмечали, что если пользоваться таким определением, то сама формулировка второго начала термодинамики: всякая изолированная физическая система стремится принять состояние с максимальным значением энтропии — превращается в тавтологию: всякая физическая система стремится принять наиболее вероятное состояние. Но речь пойдет не об этом.Все это представляет для нас чрезвычайно большой интерес, поскольку пока что мы договорились измерять количество информации через соответствующие значения энтропии и от способа определения энтропии непосредственным образом зависит способ определения информации. Более того, упомянутая впервой главе мера Шеннона как раз и связана с определением количества информации через вероятности отдельных состояний (сообщений) .Легко показать, что оба рассмотренных нами определения энтропии означают почти одно и то же.Для этого введем в рассмотрение время. Предположим, что среднее количество секунд, в течение которого в среднем каждый шар пребывает в пределах правой половины стола, в точности одинаково для всех шаров. Это опять-таки и есть наше основное предположение. Тогда среднее количество секунд, в течение которого бильярд пребывает в некотором данном состоянии, в точности пропорционально статистическому весу данного состояния. Вероятность же данного состояния, по определению, есть предел отношения среднего времени, в течение которого система пребывает в данном состоянии, к полному времени наблюдений, когда полное время наблюдений стремится к бесконечности. Переменная величина может быть сколь угодно близка к своему пределу, но все же не равна ему. Именно поэтому мы и говорим, что приведенные выше два определения энтропии означают почти одно и то же. Почти — в смысле близости истинных значений величины к ее пределу. Каким же определением следует пользоваться?Если задача состоит в том, чтобы в процессе анализа явлений природы проводить различные вычисления с использованием значения энтропии, то, безусловно, имеет смысл использовать определение энтропии через вероятность (вероятности), поскольку это дает возможность использовать хорошо развитый к настоящему времени и очень удобный аппарат теории вероятностей. Такие вычисления будут приближенными, однако степень приближения всегда может быть проконтролирована.Более того, для таких, к примеру, систем, как объем с газом, содержащих огромное количество элементов (молекул), можно сразу утверждать, что разница между статистическим весом, поделенным на полное число способов, которыми реализуется любое состояние, и вероятностью будет меньше любой разумной величины,Иное дело, когда цель состоит в том, чтобы объяснить некоторое физическое явление, вскрыть его причину или механизм, лежащий в его основе. Пусть, например, мы хотим объяснить тот факт, что давление газа на все стенки сосуда, в который он заключен, одинаково. Разделим мысленно сосуд на две части и проведем все те же рассуждения, которые мы проводили применительно к двум половинкам бильярдного стола. Мы видим, что большую часть времени сосуд будет находиться в состоянии, когда в обеих его частях находится примерно одинаковое количество молекул. Значит, и среднее количество ударов молекул о стенки в единицу времени (а это и есть давление) будет одинаковым в обеих частях. Но возможны и отклонения от этого общего правила (флюктуации), которые действительно наблюдаются в природе.Рассуждая с вероятностных позиций, мы лишь заменяем одно слово (одинаковое давление) другим словом (равновероятность). Вероятностные представления не позволяют нам также объяснить механизм возникновения флюктуации.Прибегая к вероятностным понятиям, мы неизбежно сталкиваемся с тем обстоятельством, что само по себепонятие вероятности вытекает из другого понятия-случайности. Вопрос о том, в какой мере можно пользоваться вероятностными понятиями, сводится к другому вопросу: случаен или детерминирован окружающий нас мир, то есть снова, играет ли господь бог в кости?

ИНФОРМАЦИЯ И ВЕРОЯТНОСТЬ

Так кто же прав — А. Эйнштейн или Н. Бор?Современная наука не дает однозначного ответа на этот вопрос. Ясно, что и мы не можем претендовать на знание такого ответа. Мы можем лишь провести обсуждение в той мере, какая поможет нам вскрыть взаимосвязь между понятиями информации и вероятности. Заметим прежде всего, что нам удалось провести все рассуждения относительно энтропии и второго начала термодинамики, не прибегая к понятиям случайного события и вероятности. Можно сказать даже, что наше обсуждение ближе к истине, поскольку оно основано на точных, а не приближенных соотношениях.Изучение бильярдной модели позволяет сделать и еще один интересный вывод. Никакие современные средства не дают возможность предсказать заранее то положение, в котором будет находиться бильярдный шар, скажем, через полчаса после первого удара по пирамидке (стоит напомнить, что мы рассматриваем бильярд без трения). С этой точки зрения по прошествии достаточного времени после удара мы вправе рассматривать положение каждого- шара как случайное событие. Но возникает вопрос: насколько существенно для всех проведенных в предыдущей главе рассуждений, то обстоятельство, что положение шара оказывается случайным?Это существенно тогда, когда мы проводим количественный анализ ситуации. Заменив с самого начала утверждение о том, что на поверхности бильярда нет предпочтительных областей, утверждением о том, что все положения шаров равновероятны, мы могли бы существенно упростить расчеты статистического веса, применив математический аппарат теории вероятностей.В то же время это обстоятельство оказывается совершенно несущественным, когда мы ставим себе целью объяснить, почему явление происходит так, а не иначе. Действительно, все выводы, сделанные во второй главе, остались бы справедливыми и в том случае, если бы мы с самого начала предположили, что шары представляют собой идеальные сферы, а поверхности бортов —! идеальные плоскости. (Там мы предположили, что шары и борта идеально упруги, а это совсем не означает, что их геометрические формы идеальны.) Эти два предположения дали бы нам возможность предсказывать положения шаров на сколь угодно большое время вперед, но ни в коей степени не изменили бы окончательных выводов. Ведь основная посылка о равновероятности (теперь можно воспользоваться этим словом), всех положений шаров вытекает не из случайной природы этих положений, а из сложности траекторий. Каждый шар рано или поздно посетит все области поверхности бильярда (это другая формулировка той же посылки) именно потому, что он постоянно сталкивается с бортами и с другими шарами, меняя при этом направление своего движения.То же самое справедливо и для реальных физических систем. Давно доказано, что мы не можем предсказать состояние каждой молекулы в каждый момент времени не только потому, что это требует выполнения астрономического объема вычислений, но, главное, потому, что одновременное знание координат и скорости молекулы (это и есть ее состояние) запрещено принципом неточностей Гёйзенберга. Но опять-таки термодинамические свойства газа вытекают не из случайности состояния молекул, а из чрезвычайной сложности их траекторий, которая, в свою очередь, определяется многократными столкновениями. В частности, доказательство теоремы Луивилля не требует привлечения вероятностных понятий.Создается впечатление, что термодинамические законы могут быть выведены и без привлечения представлений о случайности. Есть, правда, одно обстоятельство, применительно к которому только что сделанное предположение не будет справедливым. Перед тем как переходить к обсуждению этого обстоятельства, попытаемся сначала прояснить для себя некоторые свойства вероятностных представлений.

НЕСКОЛЬКО СТАРЫХ ПИСЕМ

«Герцог Роанекий имеет склонность к математике. Чтобы не скучать во время путешествий, он запасся одним пожилым человеком. Этот господин был в то время еще очень мало известен, но потом о нем стали говорить. Это сильный математик, не знающий, впрочем, ничего, кроме математики, — науки, вовсе не имеющей значения в свете. И вот этот человек, не обладающий никаким вкусом и тактом, постоянно вмешивался в наши разговоры, причем почти всегда удивлял нас и часто вынуждал смеяться… Так прошло два или три дня. Постепенно он становился менее уверен в себе, стал только слушать и спрашивать и завел себе памятную книжку, куда вносил разные замечания… Мало-помалу он стал говорить гораздо разумнее прежнего и сам радовался, что так изменился. Радость его была необычна, и он выражал ее каким-то таинственным образом: говорил, например, что любил многие вещи, так как был уверен, что другие не могут знать того, что он знает.— Наконец, — сказал он, — я вышел из этих диких мест и вижу чистое и ясное небо. Уверяю вас, что я не привык к яркому свету, что я был ослеплен им, а потому сердился на вас; но теперь я привык, этот свет восхищает меня, и я жалею о потерянном времени.После своего путешествия этот человек перестал думать о математике, до тех пор его занимавшей!»Мы привели отрывки из письма некоего кавалера де Мере, писанного во второй половине XVII века. Приведем заодно и характеристику кавалера де Мере, данную ему одним из его современников. Кавалер де Мере был в полном смысле тип блестящего салонного философа, как раз под пару тем ученым дамам, которых изобразил Мольер в своей комедии «Жеманницы». Кавалер был именно такой жеманницей мужского рода. Он оставил немалое количество сочинений, принесших ему немного чести. Весьма образованный для дворянина того времени, знавший древние языки, умевший пересыпать свою речь цитатами из Гомера, Платона и Плутарха, кавалер де Мере в своих сочинениях частью обкрадывал древних и новых писателей, частью изрекал банальные афоризмы. Девиз кавалера де Мере: «Всегда быть честным человеком!» — не мешал ему вести отчаянную игру и оставить после себя долги, разорившие всех его кредиторов.Однако зачем цитировать письмо какого-то французского великосветского пустомели, да еще жившего 300 лет тому назад?Письмо это во многих отношениях примечательное. Начнем с того, что «пожилым человеком», о знакомстве с которым повествует кавалер де Мере, был не кто иной, как великий Блез Паскаль. Примечательно письмо и как пример того, сколь мало проницательности, да и просто обычной наблюдательности может быть у человека, если он не очень умен да, кроме того, глаза ему застит светская спесь.Б. Паскалю, когда, по всей вероятности, он впервые встретился с кавалером де Мере, было всего 28 лет. Правда, он мог выглядеть несколько утомленным, так как перед этим сделал свои обессмертившие его имя открытия о распределении давления в жидкостях и газах. Кроме того, он только что потерял отца. Именно желание отдохнуть и слегка развлечься побудило его от правиться в путешествие с герцогом Роанским, Но все же нельзя назвать пожилым человека 28 лет от роду! Кстати сказать, Б. Паскаль был достаточно красив и именно в рассматриваемое время влюблен в сестру герцога Шарлотту Роанскую.Что математика — «наука, вовсе не имеющая значения в свете», это кавалеру де Мере виднее. Спорить мы с ним не станем; а вот то, что Б. Паскаль после путешествия перестал думать о математике?.. Но давно уже пора открыть наш главный секрет. Мы бы, конечно, ни в коем случае не стали рассказывать о знакомстве Б. Паскаля с кавалером де Мере, если бы это знакомство не послужило толчком к появлению совершенно нового раздела математики, причем послужило именно то обстоятельство, что, как уже отмечалось, кавалер де Мере вел отчаянную игру. В описываемое время Б. Паскаль не чурался светских удовольствий и слегка поигрывал. Нет ничего неожиданного в том, что между ним и кавалером де Мере завязывались разговоры об азартных играх. В этих-то разговорах кавалер де Мере предложил Б. Паскалю решить две задачи.