Если ИИ станет сверхразумным, человечеству придет конец: стоит ли верить тем, кто боится искусственного интеллекта?

Несмотря на то что Юдковский не окончил ни школу, ни университет, он пользуется большим влиянием в своей области, отмечает Guardian. Предупреждения Юдковского и Соареса схожи с позицией Джеффри Хинтона, нобелевского лауреата, «крестного отца ИИ», и Йошуа Бенжио, самого цитируемого в мире ученого в области компьютерных наук. Оба подписали заявление о том, что «снижение риска вымирания человечества из-за ИИ должно стать глобальным приоритетом, наряду с такими рисками общественного масштаба, как пандемии и ядерная война».

Сверхразумного ИИ пока не существует, но после революции ChatGPT инвестиции в центры обработки данных, которые будут его обеспечивать, исчисляются сотнями миллиардов. Это равносильно «крупнейшему и самому быстрому внедрению технологии общего назначения в истории», по словам Джона Торнхилла из FT.

Не самые приятные новости, если верить Юдковскому и Соаресу. Они пишут, что мы на самом деле не понимаем, как работает генеративный ИИ. В прошлом компьютерные программы писались вручную — каждый их аспект разрабатывался человеком. В отличие от них, новейшие модели не «создаются», а «выращиваются». Так, нам сложно понять, как ChatGPT научился рассуждать на примере многочисленных текстов, созданных людьми. Это означает, что важнейшая часть функционирования ИИ находится вне нашего контроля, и даже если мы можем подтолкнуть его к достижению определенных целей, например «быть вежливым с людьми», мы не можем определить, как он этого добьется. А значит, ИИ неизбежно будет формировать собственные предпочтения и способы выполнения задач, и они вряд ли будут совпадать с нашими. Юдковский и Соарес отмечают, что технологические компании прилагают все усилия для создания ИИ, который действует по собственной инициативе, и готовы платить больше за инструменты, которые не нужно контролировать.

Если бы такой «агентный» ИИ получил возможность самосовершенствоваться, он бы быстро превзошел человеческие возможности практически во всех сферах. Если предположить, что такой сверхразумный ИИ будет стремиться к собственному выживанию — а почему бы и нет? — он неизбежно попытается помешать людям создать конкурирующий ИИ или отключить его. Единственный верный способ сделать это — отключить нас.

«Книга тенденциозна и бессвязна, одновременно снисходительна и поверхностна. Юдковский и Соарес просто ошибаются. Мозг эволюционировал, но компьютеры созданы искусственно, и их архитектура и принцип работы полностью отличаются от мозга. Ближе всего к положительному аргументу в пользу их центрального тезиса авторы подходят, проводя натянутые аналогии между обучением ИИ и эволюцией человека, которые вводят в заблуждение и чрезмерно упрощают процесс естественного отбора», — пишет Адам Бекер из Atlantic.

Юдковский и Соарес правы по крайней мере в одном: технологические олигархи не слишком озабочены насущными угрозами, с которыми сталкивается человечество. Но вместо того чтобы смело говорить правду, авторы играют роль «полезных идиотов». Они верят в то, что ИИ может решить все наши проблемы; они просто считают, что мы «не готовы». Они правы в том, что человеческая цивилизация находится на грани катастрофы, но неверно определили виновника. Реальная экзистенциальная угроза исходит не от ИИ, а от влиятельных людей, которые его создают, считает Бекер.