Мегабитовая бомба - Станислав Лем

Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не только абстрактно-философское значение, ибо предположение, что некая машина, отправляемая на лом из-за того, что ее ремонт не окупится, обладает сознанием, превращает наше решение — уничтожить материальный предмет вроде граммофона — в акт уничтожения индивидуальности, осознанного убийства. Граммофон можно оснастить пластинкой и выключателем таким образом, что при попытке сдвинуть его с места он издавал бы крики: «Ах, умоляю, подари мне жизнь!» Как можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в своей работе «Может ли машина мыслить?» предложил в качестве решающего критерия, который бы позволил уверенно отличить человека от машины, «игру в имитацию», заключающуюся в том, что мы задаем Кому-то произвольные вопросы и на основании ответов должны сделать вывод, является ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от человека, следует признать, что машина ведет себя как человек, то есть обладает сознанием.

Со своей стороны, отмечу, что игру можно усложнить. Можно рассмотреть два вида машин. Первый является «обычной» цифровой машиной, которая устроена как человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире и вообще на любую тему. Если бы мы ее вскрыли, то увидели бы огромное количество соединений, подобно соединениям нейронов в мозгу, кроме этого — блоки памяти и т. д. и т. п.

Второй вид машин совсем другой. Это увеличенный до размеров планеты (или космоса) граммофон. В такой машине хранится огромное количество, например сто триллионов, ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина ничего «не понимает», но форма вопроса, то есть очередность вибраций нашего голоса, приводит в движение передатчик, который запускает пластинку или ленту с записанным ответом. Не будем задумываться о технической стороне дела. Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это невозможно, а главное — неизвестно, зачем ее создавать. Но нас интересует теоретическая сторона. Потому что если заключение о том, имеет ли машина сознание, делается на основе поведения, а не внутреннего строения, не придем ли мы неосмотрительно к выводу, что «космический граммофон» им обладает — и тем самым выскажем нонсенс? (А скорее, неправду.)

Но можно ли запрограммировать все возможные вопросы? В обычной жизни средний человек не отвечает даже на один биллион их. Мы же на всякий случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру, используя достаточно развитую стратегию. Мы задаем машине (то есть Кому-то, потому что не знаем, с кем имеем дело: разговор ведется, например, по телефону) вопрос, любит ли она анекдоты. Машина отвечает: да, она любит хорошие анекдоты. Рассказываем ей анекдот. Машина смеется (то есть смеется голос в трубке). Или этот анекдот был в ней записан и это позволило ей правильно отреагировать, то есть засмеяться, или это в самом деле мыслящая машина (либо человек, этого мы не знаем). Мы какое-то время разговариваем с машиной, а затем неожиданно спрашиваем, помнит ли она рассказанный анекдот. Она должна его помнить, если действительно мыслит. Она ответит «да». Мы попросим, чтобы она повторила его своими словами. Вот это уже очень трудно запрограммировать, потому что таким образом мы вынуждаем конструктора «космограммофона» записать не только отдельные ответы на все возможные вопросы, но и целые последовательности разговоров, которые могут вестись. Это потребует, конечно, памяти, то есть дисков или лент, которые и вся солнечная система не вместит. Предположим, машина не сможет повторить наш анекдот — и тем самым будет разоблачена. Задетый за живое конструктор берется усовершенствовать машину: пристраивает ей такую память, благодаря которой она сможет вкратце повторить сказанное. Но тем самым он сделает первый шаг от машины-граммофона к машине мыслящей. Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.

Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.

Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.

Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».