Искусственный интеллект – надежды и опасения - Джон Брокман

от стратегии «Давайте спешно развивать технологии, которые нас погубят, – разве что-то может пойти не так?» к стратегии «Давайте воображать вдохновляющее будущее и двигаться к нему».

Чтобы добиться успеха, то есть хотя бы начать движение в нужную сторону, эта стратегия должна строиться на представлении заманчивого места назначения. Да, голливудская фантастика в целом тяготеет к антиутопии, но на самом деле ОИИ способен обеспечить человечеству поистине уникальный уровень процветания. Все, что мне нравится в нашей цивилизации, есть плод интеллекта, а потому, если мы сумеем подкрепить наш собственный интеллект созданием ОИИ, у нас появится возможность справиться с острейшими вызовами сегодняшнего и завтрашнего дня, включая болезни, изменения климата и бедность. Чем детальнее будет наш общий позитивный взгляд на будущее, тем сильнее окажется мотив трудиться вместе над реализацией мечты.

Что мы должны делать с точки зрения выбора цели? Двадцать три принципа, принятых в 2017 году на конференции в Асиломаре, предлагают множество рекомендаций, включая следующие краткосрочные цели:

(1) Прекращение гонки вооружений в производстве смертоносного автономного оружия.

(2) Экономическое процветание, обеспечиваемое ИИ, должно широко распространиться и быть доступным каждому человеку.

(3) Инвестиции в ИИ должны сопровождаться финансированием исследований по обеспечению полезного применения искусственного интеллекта. Следует стремиться к тому, чтобы системы ИИ были исключительно надежными, устойчивыми к взлому и сбоям, и делали то, что нам нужно[78].

Первые два условия подразумевают избавление от неоптимального равновесия Нэша[79]. Вышедшую из-под контроля гонку вооружений в производстве смертоносного автономного оружия, призванную минимизировать расходы на автоматизированное анонимное убийство, будет очень трудно остановить, если она наберет обороты. Вторая цель потребует изменения нынешней политики ряда западных стран, где целые слои населения становятся беднее в абсолютном выражении, что вызывает гнев, обиды и поляризацию общества. Если не будет достигнута третья цель, все замечательные технологии ИИ, которые мы создаем, способны причинить нам вред, случайно или преднамеренно.

Исследования безопасности ИИ должны проводиться с четким пониманием того, что до появления ОИИ мы должны выяснить, как заставить ИИ понять, принять и уважать наши цели. Чем более интеллектуальными и мощными становятся машины, тем важнее согласовывать их цели с нашими. Пока мы строим относительно глупые машины, вопрос заключается не в том, будут ли преобладать человеческие цели и ценности, а в том, сколько хлопот могут доставить нам машины прежде, чем мы сумеем согласовать цели. Однако если однажды все-таки появится машинный сверхразум, то здесь уже все будет наоборот: поскольку интеллект есть способность ставить цели и их достигать, сверхразумный ИИ, по определению, будет превосходить людей в достижении собственных целей, а потому возьмет над нами верх.

Иными словами, реальный риск ОИИ состоит не в его злонамеренности, а в компетентности. Сверхразумный ОИИ будет реализовывать собственные цели; если окажется, что эти цели не совпадают с нашими, у нас возникнут проблемы. Люди не задумываются о затоплении муравейников при строительстве гидроэлектростанций, но не стоит помещать человечество в положение этих муравьев. Большинство исследователей утверждают, что, если мы когда-нибудь создадим сверхразум, он, как выразился пионер исследований по безопасности ИИ Элиезер Юдковски, должен быть «дружественным» (то есть таким, который будет действовать на благо человечества).

Вопрос морального свойства о том, какими должны быть цели ИИ, актуален ничуть не меньше технических вопросов о согласовании целей. Например, какое общество мы рассчитываем создать, откуда берутся смысл и цели нашей жизни, даже если мы, строго говоря, планете не нужны? Мне часто отвечают следующим образом: «Давайте создадим машины, которые умнее нас, а затем спросим у них!» Налицо ошибочное отождествление разума и морали. Интеллект сам по себе ни добрый, ни злой, он морально нейтрален. Это лишь способ достигать сложных целей, хороших или плохих. Нельзя утверждать, что все сложилось бы намного лучше, окажись Гитлер умнее. Действительно, откладывать рассмотрение этических вопросов до момента появления ОИИ с согласованными целями было бы безответственно – и потенциально катастрофично. Совершенно послушный сверхразум, цели которого автоматически совпадают с целями творцов-людей, будет похож на нацистского оберштурмбаннфюрера Адольфа Эйхмана на стероидах[80]. Лишенный моральных устоев и собственных ограничений, он с безжалостной эффективностью станет реализовывать цели своего хозяина, каковы бы те ни были.

Когда я говорю о необходимости изучить технологические риски, меня порой упрекают в паникерстве. Но здесь, в Массачусетском технологическом институте, где я работаю, мы знаем, что анализ рисков – не паникерство, а соблюдение техники безопасности. Перед полетом астронавтов на Луну НАСА систематически проверяло, что может дать сбой в 110-метровой ракете, наполненной легковоспламеняющимся топливом, потому что в космосе им уже никто не сможет помочь (если коротко, очень многое могло дать сбой). Это паникерство? Нет, это техника безопасности, которая обеспечила успех миссии. Точно так же мы должны проанализировать, что может пойти не так в области ИИ, чтобы убедиться в правильности происходящего.

Прогноз

Итак, если наши технологии опережают обретение мудрости, благодаря которой мы с ними справляемся, это обстоятельство может привести к нашему исчезновению. По некоторым оценкам[81], оно уже привело к исчезновению от 20 до 50 процентов всех видов живых существ на Земле, и было бы странно, не окажись мы сами следующими в очереди. Вдобавок будет жаль, если так случится, учитывая возможности ОИИ – поистине астрономические, сулящие процветание жизни на протяжении миллиардов лет, не только на Земле, но и во многих уголках космоса.

Вместо того чтобы упускать такую возможность из-за псевдонаучного отрицания рисков и скверного планирования, давайте будем амбициозными! Ведь Homo Sapiens амбициозен по природе, о чем напоминают знаменитые строки Уильяма Эрнеста Хенли из стихотворения «Непокоренный»: «Я властелин моей судьбы, / Я капитан моей души»[82]. Хватит дрейфовать как корабль без руля и ветрил, морально готовясь отправиться на свалку истории, давайте соберемся и преодолеем технические и социальные проблемы, стоящие между нами и благим высокотехнологичным будущим. А что насчет экзистенциальных проблем, связанных с моралью, целеполаганием и смыслом? В физических законах смысл не закодирован, и не стоит пассивно ждать, пока наша Вселенная ниспошлет его нам; давайте признаем и порадуемся, что именно мы, сознательные существа, придаем смысл нашей Вселенной. Давайте созидать наши собственные смыслы, содержащие нечто более важное, нежели наличие рабочих мест. ОИИ может помочь нам наконец-то стать хозяевами своей судьбы. Давайте сделаем эту судьбу по-настоящему прекрасной!

Глава 9

Диссидентские послания

Яан Таллинн

программист, физик-теоретик и инвестор, разработчик программ Skype и Kazaa.

Яан Таллинн родился и вырос в Эстонии, когда та еще была советской социалистической республикой в составе СССР, и является одним из немногих разработчиков компьютерных игр с советским прошлым.