Российская Академия Наук - Алексей Турчин

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках

1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте

Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к процессам, где мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.

2. Подмена анализа возможностей анализом целей

Например, рассуждения вроде «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.

3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго

Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип».)

4. Мышление, обусловленное желанием нечто доказать – то, что по-английски называется «Wishful thinking»

В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели – «рационализация», то есть подбор псевдо рациональных аргументов под некое исходно иррациональное утверждение.

5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов

Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показы Гёдель в теореме о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.

6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит

Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.

7. Использование так называемого «авторитетного знания»

«Авторитетное знание» было основным источником достоверных сведений в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.

8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана

Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение должно считаться опасным до тех пор, пока оно не опровергнуто. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости в отношении теорий о тех или иных глобальных катастрофах.

9. Восприятие новой информации через призму старой

В процессе восприятия человек только часть информации берёт из внешнего мира, а остальное достраивает на основании своей памяти, ожиданий и ассоциаций. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет и его фильтр, и его уверенность в этих данных.

10. Ошибка в выборе нейтральной позиции

Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку – и, тем не менее, всё равно недооценивали. Вероятно, поправку надо было давать не только к основному параметру, но и к самой поправке.

11. Уверенность как источник ошибок

Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.

12. Употребление полностью ошибочной логики

Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки «в каждой строчке». В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.

13. Различие между преднаукой и псевдонаукой

В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.