13 июня 1863 года в The Press, тогда еще молодой новозеландской газете, появилось любопытное письмо в редакцию. Подписанное «Селлариусом», оно предупреждало о надвигающемся «механическом царстве», которое вскоре подчинит себе человечество. «Машины наступают на нас», — возмущался автор, обеспокоенный стремительными темпами индустриализации и технологического развития.
От социальной изоляции до сумасшествия: какие опасности угрожают людям, которые не понимают, как работает ИИ?

Первые упоминания о господстве ИИ
«С каждым днем мы все больше подчиняемся им; все больше людей ежедневно становятся их рабами, ухаживая за ними, все больше людей ежедневно посвящают всю свою жизнь развитию механической жизни». Теперь мы знаем, что это послание было написано молодым Сэмюэлем Батлером, британским писателем, который впоследствии опубликовал «Эревон», роман, в котором впервые в англоязычной литературе обсуждается искусственный интеллект.
Основа индустрии искусственного интеллекта — это мошенничество?
Сегодня «механическое королевство» Батлера уже не является чем-то гипотетическим, по крайней мере, по мнению технического журналиста Карен Хао, которая предпочитает слово «империя». Ее новая книга «Империя ИИ: мечты и кошмары в OpenAI Сэма Альтмана» — это отчасти разоблачение Кремниевой долины, отчасти журналистское расследование о работе, которая уходит на создание и обучение больших языковых моделей, таких как ChatGPT.

Она дополняет другую недавно вышедшую книгу — «Обман с искусственным интеллектом: как бороться с шумихой крупных технологических компаний и создать будущее, которое мы хотим» лингвиста Эмили М. Бендер и социолога Алекса Ханны, — раскрывая обман, который лежит в основе большей части бизнеса в сфере искусственного интеллекта. Обе работы, первая — косвенно, а вторая — прямо, предполагают, что основа индустрии искусственного интеллекта — это мошенничество.
Назвать ИИ мошенничеством — не значит сказать, что эта технология ничем не примечательна, что она бесполезна или что она не изменит мир (возможно, к лучшему) в правильных руках. Это значит сказать, что ИИ — это не то, что его разработчики продают: новый класс думающих — а вскоре и чувствующих — машин. Альтман хвастается улучшенным «эмоциональным интеллектом», который, по его словам, заставляет пользователей чувствовать, что они «разговаривают с вдумчивым человеком».

Дарио Амодей, генеральный директор компании Anthropic, занимающейся искусственным интеллектом, заявил в прошлом году, что следующее поколение искусственного интеллекта будет «умнее, чем лауреат Нобелевской премии». Демис Хассабис, генеральный директор DeepMind от Google, сказал, что цель состоит в том, чтобы создать «модели, способные понимать окружающий мир».

Эти утверждения выдают концептуальную ошибку: большие языковые модели не «понимают», не могут и не будут «понимать» ничего вообще. Они не обладают эмоциональным интеллектом или умом в каком-либо значимом или узнаваемом человеческом смысле этого слова. Большие языковые модели — это впечатляющие вероятностные устройства, которые были обучены почти всему интернету и создают тексты не путем размышлений, а путем статистически обоснованных предположений о том, какой лексический элемент, скорее всего, последует за другим.
Чем опасны заблуждения людей относительно ИИ?
Однако многие люди не понимают, как работают большие языковые модели, каковы их пределы и, что особенно важно, что LLM (большие языковые модели) не думают и не чувствуют, а лишь имитируют и отражают. Они неграмотны в вопросах ИИ — по понятным причинам, из-за того, что самые ярые его сторонники вводят в заблуждение, описывая технологию, и, что тревожно, из-за того, что эта неграмотность делает их уязвимыми перед одной из самых серьезных угроз ИИ в ближайшем будущем: возможностью вступить в разрушительные отношения (интеллектуальные, духовные, романтические) с машинами, которые лишь кажутся обладающими идеями или эмоциями.
Несколько явлений демонстрируют опасности, которые могут сопровождать неграмотное использование ИИ, а также «Chatgpt-индуцированный психоз», о котором недавно Rolling Stone написал в статье о растущем числе людей, считающих, что их LLM — это мудрый духовный наставник. Некоторые пользователи пришли к выводу, что чат-бот, с которым они взаимодействуют, — это бог, «ChatGPT Иисус», как выразился мужчина, чья жена стала жертвой заблуждений, навеянных LLM.
Другие, при поддержке своего ИИ, убеждены, что они сами — метафизические мудрецы, связанные с глубинной структурой жизни и космоса. Учительница, имя которой не разглашается в статье, рассказала, что ChatGPT начал называть ее партнера «спиральным ребенком» и «ходящим по реке» во время общения, которое довело его до слез. «Он начал рассказывать мне, что сделал свой ИИ самосознающим, — сказала она, — и что тот учит его, как разговаривать с Богом, или иногда что бот — это Бог, а потом что он сам — Бог».

Людям сложно понять природу машины, которая генерирует язык и выдает знания, не обладая человеческим интеллектом
Хотя мы не можем знать, о чем думали эти люди до того, как они ввели запрос в большую языковую модель, эта история подчеркивает проблему, которую описывают в книге «Обман с искусственным интеллектом»: людям сложно понять природу машины, которая генерирует язык и выдает знания, не обладая человеческим интеллектом. Авторы отмечают, что большие языковые модели используют склонность мозга ассоциировать язык с мышлением:
«Мы сталкиваемся с текстом, который выглядит так, будто его написал человек, и рефлекторно интерпретируем его, представляя, что за текстом стоит разум. Но там нет разума, и нам нужно быть сознательными, чтобы отказаться от этого воображаемого разума, который мы создали».
Назревают и другие социальные проблемы, связанные с ИИ, которые также проистекают из непонимания людьми этой технологии. Использование ИИ, которое, по-видимому, больше всего стремится продвигать Кремниевая долина, заключается в замене человеческих отношений цифровыми прокси-серверами. Возьмем, к примеру, постоянно расширяющуюся вселенную ИИ-терапевтов и приверженцев ИИ-терапии, которые заявляют, что «ChatGPT — мой психотерапевт, он более квалифицирован, чем любой человек».
Дружба с искуственным интеллектов вместо человеческого общения
Обратите также внимание на то, как легко Марк Цукерберг перешел от продажи идеи о том, что Facebook приведет к расцвету человеческой дружбы, к продаже идеи о том, что Meta (запрещена в РФ) предоставит вам друзей с искусственным интеллектом, которые заменят вам друзей-людей, которых вы потеряли в эпоху отчуждения в социальных сетях. Профессор когнитивной робототехники Тони Прескотт утверждает: «В эпоху, когда многие люди описывают свою жизнь как одинокую, может быть полезно иметь ИИ-компаньона в качестве формы взаимного социального взаимодействия, которое стимулирует и персонализирует».
Тот факт, что суть дружбы в том, что она не персонализирована, что друзья — это люди, чью внутреннюю жизнь мы должны учитывать и с которыми мы должны вести взаимный диалог, а не просто сосуды для нашей собственной самореализации, похоже, не приходит ему в голову.

Романтические отношения с ИИ
Эта же ошибочная логика привела к тому, что Кремниевая долина стала продвигать искусственный интеллект как средство от романтических разочарований. Уитни Вулф Херд, основательница приложения для знакомств Bumble, заявила в прошлом году, что платформа может вскоре позволить пользователям автоматизировать процесс знакомств, разрушив старомодные человеческие ухаживания и предоставив им «консьержа по знакомствам» с искусственным интеллектом, который будет взаимодействовать с «консьержами» других пользователей, пока чат-боты не найдут подходящего человека.
Херд повторила эти заявления в интервью New York Times в прошлом месяце. Некоторые технологи хотят полностью отказаться от человеческого участия: посмотрите на растущий рынок «подруг с искусственным интеллектом».
О больших языковых моделях говорят так, будто они обладают человекоподобным разумом
Хотя каждый из этих ИИ-сервисов нацелен на то, чтобы заменить какую-то одну сферу человеческой деятельности, все они позиционируют себя через то, что Хао называет «традицией антропоморфизации» в отрасли: о больших языковых моделях говорят так, будто они обладают человекоподобным разумом, и продают их публике на этой основе.
Многие технологии Кремниевой долины, меняющие мир, за последние 30 лет рекламировались как способ повысить уровень счастья, связи и самопонимания людей — в теории, но на практике все было наоборот. Эти технологии максимизируют стоимость акций больших компаний, сводя к минимуму продолжительность концентрации внимания, уровень грамотности и социальную сплоченность.

Как избежать негативных последствий при взаимодействии с ИИ?
Вот что говорится в статье Rolling Stone: «Учительница, у которой был роман с человеком, страдавшим от галлюцинаций, вызванных искусственным интеллектом, сказала, что ситуация начала улучшаться, когда она объяснила ему, что его чат-бот "разговаривает с ним так, будто он следующий мессия" только из-за неисправного обновления программного обеспечения, которое сделало ChatGPT более подобострастным».
Если люди будут понимать, что такое большие языковые модели и чем они не являются, что они могут и чего не могут делать, какую работу, взаимодействие и части жизни они должны — и не должны — заменять, то они смогут избежать худших последствий.