Методы статистического анализа исторических текстов (часть 1) - Анатолий Фоменко

Схема дальнейших наших рассуждений такова.

1) Мы сформулируем теоретическую модель, то есть статистическую гипотезу, позволяющую предсказывать — какие именно годы из интервала времени (A,B) будут подробно описаны поздним летописцем, уже не являющимся современником описываемых им древних событий.

2) Затем мы математически формализуем эту статистическую модель (гипотезу).

3) Проверим ее справедливость на достаточно большом достоверном историческом материале.

4) Обнаружив, что теоретическая модель подтверждается в эксперименте, мы предложим методику датирования древних событий.

Пусть С(t) — объем всех текстов, написанных о годе t современниками этого года. См. рис. 3.2. Как и выше, построим числовой график объема на интервале времени (A,B). Конечно, точный вид этого графика С(t) сегодня нам НЕИЗВЕСТЕН, так как с течением времени первичные тексты, написанные современниками событий года t, постепенно утрачиваются. До наших дней дошла только какая-то их часть. График C(t) можно назвать ГРАФИКОМ ПЕРВИЧНОГО ФОНДА ИНФОРМАЦИИ. Пусть из эпохи (A,B) современники наиболее подробно описали некоторые годы, то есть зафиксировали об этих годах особенно много информации. Причины такой «первичной неравномерности» мы здесь обсуждать не будем, так как они для нас сейчас не важны. На языке графика объема C(t) такие «подробно описанные современниками» годы будут выявляться тем, что именно в эти годы график делает всплески.

Каков механизм потери и забывания письменной информации, приводящий с течением времени к уменьшению высоты графика C(t) и его искажению? Сформулируем МОДЕЛЬ ПОТЕРИ ИНФОРМАЦИИ.

Хотя с течением времени высота графика C(t) уменьшается, тем не менее, ОТ ТЕХ ЛЕТ, В КОТОРЫЕ ИХ СОВРЕМЕННИКАМИ БЫЛО НАПИСАНО ОСОБЕННО МНОГО ТЕКСТОВ, — БОЛЬШЕ И ОСТАНЕТСЯ.

Для переформулировки этой модели полезно поступить следующим образом. Фиксируем какой-то момент времени M справа от точки B на рис. 3.2 и построим график CM (t), показывающий объем текстов, которые «дожили» до момента времени M и описывают события года t из исторической эпохи (A,B).

Другими словами, число CM(t) указывает объем первичных древних текстов от года t, сохранившихся до «момента наблюдения фонда» в год M. График CM(t) можно условно назвать графиком «остаточного фонда информации», сохранившегося от эпохи (A,B) до года M. Теперь наша модель может быть переформулирована таким образом.

ГРАФИК ОБЪЕМА ОСТАТОЧНОГО ФОНДА CM(t) ДОЛЖЕН ИМЕТЬ ВСПЛЕСКИ ПРИМЕРНО В ТЕ ЖЕ ГОДЫ НА ИНТЕРВАЛЕ (A,B), ЧТО И ИСХОДНЫЙ ГРАФИК ПЕРВИЧНОГО ФОНДА ИНФОРМАЦИИ C(t).

Разумеется, проверить модель в таком ее виде трудно, поскольку график C(t) первоначального фонда информации сегодня нам точно неизвестен. Но одно из следствий теоретической модели (гипотезы) проверить все-таки можно.

Поскольку более поздние летописцы X и Y, описывая один и тот же исторический период (А,В) и один и тот же «поток событий», уже не являются современниками этих древних событий, то они вынуждены опираться на приблизительно один и тот же набор дошедших до них текстов. Следовательно, они должны «в среднем» более подробно описать именно те годы, от которых сохранилось больше текстов, и менее подробно — годы, о которых сохранилось мало информации. Другими словами, летописцы должны увеличивать подробность изложения при описании тех лет, от которых до них дошло больше текстов.

На языке графиков объема эта модель выглядит так. Если летописец X живет в эпоху M, то он будет опираться на остаточный фонд CM(t). Если другой летописец Y живет в эпоху N, отличную, вообще говоря, от эпохи M, то он опирается на сохранившийся фонд информации CN(t). См. рис. 3.3.

Естественно ожидать, что «в среднем» летописцы X и Y работают более или менее добросовестно, а потому они должны более подробно описать те годы из древней (для них) эпохи (A,B), от которых до них дошло больше информации, больше старых текстов.

Другими словами, график объемов vol X(t) будет иметь всплески примерно в те годы, где имеет всплески график CM(t). В свою очередь, график vol Y(t) будет иметь всплески примерно в те годы, где делает всплески график CN(t). См. рис. 3.3.

Но точки всплесков графика остаточного фонда CM(t) близки к точкам всплесков исходного, первичного графика C(t). Аналогично, и точки всплесков графика остаточного фонда CN(t) близки к точкам всплесков первичного графика C(t). Следовательно, графики объемов летописей X и Y, — то есть графики vol X(t) и vol Y(t), — должны делать всплески ПРИМЕРНО ОДНОВРЕМЕННО, «в одних и тех же» точках. Другими словами, точки их локальных максимумов должны коррелировать. См. рис. 3.1.

При этом, конечно, амплитуды графиков vol X(t) и vol Y(t) могут быть существенно различны. См. рис. 3.4.

Окончательно ПРИНЦИП КОРРЕЛЯЦИИ МАКСИМУМОВ формулируется так. Предыдущие рассуждения могут сейчас рассматриваться лишь как наводящие соображения.

ПРИНЦИП КОРРЕЛЯЦИИ МАКСИМУМОВ:

а) Если две летописи (текста) X и Y ЗАВЕДОМО ЗАВИСИМЫ, — то есть описывают один и тот же «поток событий» исторического периода (A,B) государства Г, — то графики объемов летописей X и Y ДОЛЖНЫ ОДНОВРЕМЕННО ДОСТИГАТЬ ЛОКАЛЬНЫХ МАКСИМУМОВ (ДЕЛАТЬ ВСПЛЕСКИ) на отрезке (А,В). Другими словами, годы, «подробно описанные в летописи X», и годы, «подробно описанные в летописи Y», должны быть близки или совпадать. См. рис. 3.4.

б) Напротив, если летописи X и Y ЗАВЕДОМО НЕЗАВИСИМЫ, то есть описывают либо разные исторические периоды (А,В) и (C,D), либо разные «потоки событий» в разных государствах, то графики объемов для летописей X и Y достигают локальных максимумов В РАЗНЫХ ТОЧКАХ. Другими словами, точки всплесков графиков vol X(t) и vol Y(t) не должны коррелировать. См. рис. 3.5. При этом считается, что для сравнения двух графиков мы должны предварительно совместить отрезки (А,В) и (C,D) одинаковой длины.

Все другие пары тексты, то есть не являющиеся ни заведомо зависимыми, ни заведомо независимыми, мы условно назовем НЕЙТРАЛЬНЫМИ. Относительно них никакого утверждения не делается.

Этот принцип подтвердится, если для большинства пар реальных, достаточно больших ЗАВИСИМЫХ летописей X и Y, то есть описывающих одни и тот же «поток событий», графики объема для X и Y делают всплески приблизительно одновременно, в одни и те же годы. При этом ВЕЛИЧИНА ЭТИХ ВСПЛЕСКОВ МОЖЕТ БЫТЬ СУЩЕСТВЕННО РАЗЛИЧНОЙ.

Напротив, для реальных НЕЗАВИСИМЫХ хроник какая-либо корреляция точек всплесков должна отсутствовать. Конечно, для конкретных зависимых хроник одновременность всплесков графиков объема может иметь место лишь приблизительно.

1.3. Статистическая модель

Грубая идея состоит в следующем. Для количественной оценки близости точек всплесков поступим так. Вычислим число f(X,Y) — сумму квадратов чисел f[k], где f[к] — расстояние в годах от точки всплеска с номером «k» графика объема X до точки всплеска с номером «k» графика объема Y. Если оба графика делают всплески одновременно, то моменты всплесков с одинаковыми номерами совпадают, и все числа f[k] равны нулю. Рассмотрев достаточно большой фиксированный запас различных реальных текстов Н и вычисляя для каждого из них число f(X,H), отберем затем только такие тексты H, для которых это число не превосходит числа f(X,Y). Подсчитав долю таких текстов во всем запасе текстов H, получаем коэффициент, который, — при гипотезе о распределении случайного вектора H, — можно интерпретировать как вероятность p(X,Y). Более подробно описание p(X,Y) см. в [416], [438], [419], [375]. Если коэффициент p(X,Y) мал, то летописи X и Y зависимы, то есть описывают приблизительно один и тот же «поток событий». Если же коэффициент велик, то летописи X и Y независимы, то есть сообщают о разных «потоках событий».

Перейдем теперь к более детальному описанию статистической модели. Конечно, для реальных графиков объема одновременность их всплесков может иметь место лишь приблизительно. Для оценки того, насколько одновременно оба графика делают всплески, математический аппарат статистики позволяет определить некоторое число p(X,Y), измеряющее несовпадение лет, подробно описанных в летописи X, и лет, подробно описанных в летописи Y. Оказывается, если рассматривать наблюдаемую близость всплесков обоих графиков как случайное событие, то число p(X,Y) можно рассматривать как вероятности этого события. Чем меньше это число, тем лучше совпадают годы, подробно описанные в X, с годами, подробно описанными в Y. Дадим математическое определение коэффициента p(X,Y).

Рассмотрим интервал времени (A,B) и график объема vol X(t), который достигает локальных максимумов в некоторых точках m1….,mn-1. Мы считаем для простоты, что каждый локальный максимум (всплеск) достигается ровно в одной точке. Эти точки (то есть годы) mi разбивают интервал (A,B) на некоторые отрезки, вообще говоря, разной длины. См. рис. 3.6. Измеряя длины получившихся отрезков (в годах), то есть измеряя расстояния между точками соседних локальных максимумов mi и mi+1, мы получаем последовательность целых чисел a(X)=(x1….,xn). То есть, число x1 — это расстояние от точки A до первого локального максимума. Число x2 — это расстояние от первого локального максимума до второго. И так далее. Число xn — это расстояние от последнего локального максимума mn-1 до точки B.