Восстание машин отменяется! Мифы о роботизации - Дэвид Минделл

Что из усвоенной нами информации о работе аппаратов в экстремальных условиях поможет нам пролить свет на возможное будущее самоуправляемых автомобилей? Мы знаем, что для автономных машин будут характерны все те же проблемы, которые известны нам по примерам использования автоматизации в уже описанных нами средах, – отказы систем, различия в опыте пользователей-операторов, сложности при фокусировке внимания, ухудшение навыков ручного управления, а также растущая склонность чрезмерно полагаться на автоматику по мере все более широкого распространения таких систем.

Самой главной проблемой для самоуправляемой машины станут моменты передачи управления между автоматикой и водителем – то, что мы можем назвать «проблемой рейса 447 Air France». Каждая критически важная система должна располагать способами справляться с аномалиями, возникающими при отказе отдельного датчика или модульного устройства или в ситуации, когда в окружающем мире что-то идет не так, как ожидается. Чем сложнее система, тем больше потенциальных аномалий она в себе таит. И хотя отдельные аномалии такого рода могут возникать редко, в США люди ежедневно совершают более миллиарда поездок на автомобиле, что в десять тысяч раз превышает количество ежедневных авиарейсов.

Допустим, «гугломобиль» сможет распознать ситуацию, с которой он не в состоянии справиться сам, и предупредит водителя, что тому необходимо взять управление на себя. Возможно, для этого на приборной панели будет зажигаться световой сигнал «Проверь автономность», аналогичный имеющемуся сейчас в машинах малопонятному оповещению «Проверь двигатель», хотя в целях эффективности ему следует быть намного информативнее. Что будет, если эта лампочка загорится, когда машина движется на большой скорости и передача управления должна произойти без промедлений? Если человек, освобожденный от обязанности вести машину, уснет или погрузится в чтение книги, сможет ли он вновь включиться в контур управления достаточно быстро, чтобы успеть отвести машину от лобового удара, выбоины на дороге или столкновения с препятствием?

Точно так же, как в истории рейса 447, водителям придется сталкиваться с этим испытанием в наиболее сложных дорожных ситуациях. И вдобавок по сравнению с операторами рассмотренных нами систем, работающих в экстремальных условиях, водители в большинстве своем не так хорошо подготовлены и могут иметь крайне разные навыки, физические возможности, социальное происхождение, экономический статус и образование. Как бы ни были опасны экстремальные среды, тем не менее и глубины океана, и воздушное пространство, и космические дали относительно «однородны» по сравнению с вождением автомобиля в дорожных условиях – значительно более хаотичным и неопределенным процессом.

Вероятно, в ответ на подобную критику Google изменил подход и ищет способы полностью избавиться от этих доставляющих неприятности субъектов – водителей. По словам инженера Натаниеля Фэйрфилда, Google выяснил, что «люди ленивы» и «перескакивают от обоснованного недоверия к чрезмерному упованию» на системы, которыми пользуются. Проведя эксперименты, компания пришла к выводу, что людям-водителям нельзя доверять настолько, чтобы позволить взаимодействовать с их программами, и приняла модель нулевого участия человека в процессе вождения. Инженеры Google говорят о «ленивых водителях» и о том, что 93 % автомобильных аварий происходят по причине ошибок человека (конечно же, специалисты по «человеческому фактору» давно поняли, что люди ошибаются чаще всего из-за плохой конструкции управляемой системы или непродуманных норм управления).

Новая версия автомобиля Google была представлена в 2014 году и производит впечатление дружественной и безопасной для людей машины. С целью снижения уровня риска ездит она медленно, в ней отсутствуют руль и приборная панель, так что такой машиной человеку вообще нельзя управлять. По словам руководителя проекта Криса Армсона, компания «движется к цели создания транспортных средств, которые полностью возьмут на себя тяготы водительского дела». Эти полностью автономные машины будут «функционировать безопасно и независимо от человека, чье вмешательство в их работу не потребуется».

Весь «пользовательский интерфейс» новой машины составляют две кнопки – для запуска и остановки двигателя, а также дисплей, на котором отображается маршрут (непонятно только, как же водитель должен говорить машине, куда ехать). Водителя превратят в пассажира, чьей обязанностью будет «откинуться в кресле, расслабиться и наслаждаться поездкой». «Машине нет нужды прибегать к помощи водителя-человека – в ней достаточно дублирующих систем, – утверждает Фэйрфилд. – Она оснащена двумя рулевыми моторами, и у нас есть множество различных способов прекратить движение». Появившиеся на сервисе YouTube рекламные видеоролики под легкую музыку демонстрируют, как пассажиры пожилого возраста, инвалиды, слепые наслаждаются приятными поездками на автомобилях Google по озаренным сияющим солнцем пустым и широким калифорнийским шоссе.

Безусловно, предоставить инвалидам или старикам возможность свободно перемещаться – похвальная цель. Но выбранный Google способ достичь ее представляет собой возврат в прошлое и попытку ухватиться за упущенную возможность. Как это ни забавно, именно такая высокотехнологичная компания, как Google, в своей риторике шагает назад в XX век, архаически выставляя водителя пассивным наблюдателем. Их «новый» подход становится жертвой всех трех порожденных XX веком мифов о роботах и автоматизации: 1) автомобильная техника должна логически развиваться до полной, утопической автономности (миф о линейном прогрессе); 2) автономные системы управления освободят водителя от обязанности водить (миф замещения); 3) автономные машины могут действовать полностью самостоятельно (миф о полной автономности).

Наши исследования работы систем в экстремальных средах научили нас тому, что такая утопическая автономность рушится при столкновении с реальными условиями среды, в которых людям приходится рисковать жизнью. И в действительности утопия автоматизации от Google оказывается намного более хрупким и менее функциональным решением, чем богатая автоматизация, нацеленная на помощь водителю-человеку. Действительно, присутствие живого водителя в автоматизированном автомобиле вызывает проблемы с путаницей режимов, концентрацией внимания и интерфейсами взаимодействия, но все эти проблемы решаемы – особенно с учетом опыта, полученного нами на уроках экстремальных сред. Однако вместо этого инженеры из Google гонятся за призраком наивной автоматизации, пытаясь поставить задачу таким образом, чтобы ее могли решать программы от Google. Подобный способ формулировки проблем особенно приятен инженерам по причине его замкнутой на себя природы: пусть вождение сводится лишь к навигации и предотвращению столкновений.

Данная форма автоматизации может быть приемлема для узкого, локального использования (меня не удивит появление таких машин без водителей в нишевых применениях, например для развозки пассажиров в пределах парковок или кампусов колледжей, примерно как это делают монорельсы в аэропортах). Но вождение автомобиля во всей его полноте – социальная активность, которая испытывает влияние всего разнообразия географических, экономических, культурных и других факторов. Google ничего не говорит о том, как их программный код должен учитывать это чудесное многообразие. И, более того, просто потому, что в машинах будут ездить люди, встают непростые вопросы о допустимом риске, надежности и степени вины той или иной стороны в происшествии, на которые необходимо отвечать. У инженеров Google есть привычка постоянно хвалить друг друга за то, что они берутся за самые трудные задачи, но в этом случае они закрыли глаза на все важные и социально значимые проблемы и сделали выбор в пользу узких алгоритмических решений.

И, конечно, даже в случае автономных «гугломобилей» человеческий фактор не теряет своей значимости, просто проявляется по-другому и в другое время. Давайте заглянем внутрь алгоритма, чтобы на примере понять, насколько по-человечески может быть скроен код, который, на первый взгляд, является автономным. Рассмотрим историю первого задокументированного столкновения между автономными автомобилями. В 2007 году в результате Большого технического соревнования, профинансированного Агентством по перспективным оборонным научно-исследовательским разработкам, возник ряд технологий, на которых ныне основывается идея автомобиля от Google. Крис Армсон, инженер Google, был главным инженером победившей тогда команды, и многие из других участников соревнования сейчас тоже работают в Google.

В том происшествии автомобиль Массачусетского технологического института под названием «Талос»[22] обгонял автомобиль Корнеллского университета, который именовался «Скайнет»[23] – у этой машины были проблемы с алгоритмом планирования, и она медленно тарахтела вдоль обочины. Компьютеры на борту «Талос» классифицировали «Скайнет» как «скопление статических объектов», а не как движущийся транспорт, и приняли решение выполнить поворот, объехав это «скопление». Но корнеллская машина на самом деле не стояла на месте, а двигалась, выписывая «кренделя», схему которых «Талос» распознать не сумел. «Скайнет» рванул вперед как раз в тот момент, когда «Талос» начал поворачивать перед его носом, в результате чего оба автомобиля столкнулись, получив незначительные повреждения. Ни та, ни другая команда не выиграла соревнование.