Игра разума. Как Клод Шеннон изобрел информационный век - Джимми Сони

7

Почему не использовать 11 для буквы С? В этом случае будет невозможно однозначно расшифровать мультисимвольное сообщение. 1110, к примеру, могло бы означать либо «СВ», либо «DA».

8

Или, если выражаться точнее, достичь «произвольно маленького» коэффициента ошибок: такого низкого, который нам нужен и за который мы готовы платить.

9

Кан поясняет эту точку зрения подходящим мысленным экспериментом. Представьте такой язык, в котором любая четырехбуквенная комбинация, от «аааа» до «zzzz» была бы допустима. Тогда было бы 456 976 подобных комбинаций – более чем достаточно, чтобы охватить каждое слово в английском словаре. Но когда любая комбинация букв является возможной, становится гораздо сложнее распознать ошибки. «Xfim», означающее, вероятно, «приходить», можно заменить на «xfem», которое может означать «уходить». И при отсутствии избыточности не прозвучит никакого тревожного звоночка». В сравнении с этим, обычные языки выигрывают не только за счет избыточности контекста (что сделало невозможным использование слова «ананас»), а за счет избыточности букв, которые не несут информации. Потеря одной точки в азбуке Морзе превращает слово «individual» в «endividual», но эта ошибка легко распознается. Большинство английских слов не пострадают от подобных ошибок даже при наличии нескольких неправильных букв в слове.

10

Связь между информацией и энтропией была раскрыта в работе Шеннона. Но предположение о наличии связи между информацией и физикой было впервые сделано еще в 1929 году венгерским физиком Лео Шилардом. Если коротко, Шилард решил старую задачу в разделе физики, изучающем термодинамику. Второй закон термодинамики говорит о том, что энтропия постоянно увеличивается. Но что, если мы представим микроскопическое умное создание, которое Джеймс Кларк Максвелл назвал «демоном», что попытается уменьшить энтропию, отсортировав горячие молекулы от холодных? Будет ли это противоречить второму закону? Шилард показал, что не будет: сам процесс определения того, где какие молекулы, потребует энергии, достаточной для того, чтобы нейтрализовать любые накопления, достигнутые демоном Максвелла. Другими словами, изучение информации о частицах требует энергетических затрат. Но Шеннон не читал работу Шиларда, когда писал свою статью в 1948 году.