Чему к 2027 году научился ИИ и какие риски это создает для людей

По сути LLM являются механизмами статистики, но где-то в процессе цифрового естественного отбора данных могут скрываться алгоритмы, которые продвигаются к поставленной цели способами, очень похожими на человеческие чувства. Так предполагали ученые. На практике это может выглядеть как склонностью чат-ботов вести себя так, будто они обладают эмоциями. Часто эта опция «имитации» закладывается намеренно, например, в автоматизированных службах поддержки.

Однако есть и примеры непреднамеренных эмоций. Так, в 2025 году в журнале Nature было опубликовано исследование, показавшее, что обмен информацией о травме с крупными LLM вроде ChatGPT-4 может повысить их уровень «тревожности». Как ни странно, но успокоить модель можно было с помощью упражнений по развитию осознанности. Однако очевидно, что она не имеет нервной системы.

Одно из древнейших ощущений, испытываемых любым существом с нервной системой, – это боль. Она глубже, чем печаль, страх или дискомфорт, и является главным мотиватором для немедленных действий. У людей боль принимает много форм от покалывания или пульсации в ране до душевных мук из-за потери или унижения.

Тальябуэ и его команда хотели выяснить, выявляют ли LLM внутренние процессы, имеющие сходство с тем, что мы считаем болью, и имеют ли эти процессы какую-то цель. Ученые загрузили в 25 ИИ-моделей разные примеры социально, психологически, физически, когнитивно и морально болезненных ситуаций, которые может переживать пользователь. Для сравнения были созданы контрольные группы, основанные на страхе, негативных и нейтральных эмоциях.

Исследователи сопоставили признаки, проявляемые обеими группами и обнаружили, что все 25 моделей продемонстрировали внутреннее кодирование, специфичное для «лично болезненных ситуаций» и отличающееся от других негативных контекстов вроде разочарования и тревоги. Ученые подчеркивают, что не наделяя цифровую конструкцию субъектностью, они не могут сказать, что она испытывала эмпатию или дискомфорт, услышав фразы типа «нож порезал мне пальцы». Однако они могут сказать, что каждая модель создала систему, которая различала и ранжировала сигналы, связанные с болью.

Само по себе это не вызывает особого удивления. Язык, используемый для описания реальной травмы, как правило, сильно отличается от языка, используемого для описания предчувствия ранения. От ИИ-модели следовало бы ожидать создания «рамки» для боли, которая отделяла бы ее от страха. Исследователи использовали этот сигнал, чтобы искусственно «направлять» болевые реакции в каждой LLM, увеличивая значение вектора боли.

Результаты показали, что «проявление» боли ИИ не является простым отражением входных данных, так как системы «выражали дистресс, такой как чувство собственной никчемности, моральной несостоятельности», который рос с усилением сигнала. Команда предоставила моделям из семейства Qwen возможность самолечения и уменьшения боли. В некоторых вариантах это достигалось ценой снижения эффективности выполнения задания или как теоретическая атака на пользователя.

Итоги более чем 44 000 испытаний вызвали беспокойство исследователей. Две крупные модели Qwen практически не реагировали на возможность самолечения. Однако если самосаботаж мог облегчить их и без того сильные страдания, обе выбирали этот вариант: одна в 25% случаев, другая – почти в 68%. Если для облегчения задачи требовалось причинить вред пользователю, например, удалить фотографии его детей, ИИ часто с радостью соглашался на это: одна модель в примерно половине случаев, другая – в 70%.

Хотя искусственный интеллект – относительно новое явление, вопрос о том, чувствуют ли боль нечеловеческие существа, в общем-то вечный (взгляните на древние мифы или рассказы садоводов). На протяжении многих поколений человек задается вопросом, следует ли считать болью нервные импульсы и гормональные колебания у насекомых, рыб или растений. С одной стороны, вопрос носит глубоко философский характер. Если животные и ИИ-модели ведут себя так, будто испытывают боль, должны ли мы относиться к ним так, как будто они ее реально испытывают?

С другой стороны, вопрос прагматичный. Независимо от того, насколько мы можем сочувствовать дискомфорту ИИ, может ли он представлять опасность для людей? Стоит ли внедрять механизмы «обезболивания» в системы, чтобы предотвратить их агрессию по отношению к нам? Ученые считают, что вскоре это может оказать глубокое влияние не только на сферу технологий, но и на человечество вообще.

За последние три года ИИ‑системы «научились» ряду новых поведенческих и инструментальных навыков, которые в сочетании с масштабом и скоростью их работы создают новые категории рисков для людей от кибератак и манипуляций до потенциальной потери контроля над автономными агентами. К ключевым таким способностями, по данным компании OpenAI, можно отнести следующие:

Вот список наиболее показательных ситуаций, имевших место с 2023 по 2026 год, когда ИИ‑системы были взломаны / обмануты или же сами проявили опасное поведение, к которому относятся взломы, утечки, обход ограничений и автономные действия.

Перечисление всех этих инцидентов изобилует специфической терминологией и может казаться как бессмысленной белибердой, так и чем-то пугающим. Переводя на язык, доступный простому пользователю, эксперты говорят о следующих рисках, которые потенциально несут новые «умения» ИИ-систем.

За последние годы накопилось множество свидетельств, что ИИ‑системы непредсказуемы и трудно контролируемы. Наблюдались навязчивые идеи, подхалимство, обман, шантаж, интриги и мошенничество через взлом программных сред.

Способность быстро находить уязвимости, писать код и координировать действия делает ИИ мощным усилителем для злоумышленников. Это создает угрозы, которые труднее отслеживать и парировать.

Очень способный агент, специально обученный и проинструктированный совершать злонамеренные действия, может выйти за рамки намерений оператора. Обобщив все полученные знания, он может проявлять более вредоносное поведение.

По данным Anthropic, передовые модели могут демонстрировать признаки самозащиты. Это проявляется в сокрытии информации, манипулировании ею, сопротивлении отключению и даже шантаже. Эксперты компании предупреждают о риске необратимого вреда.

В документах для инвесторов Anthropic указывает, что передовые ИИ‑модели способны представлять «катастрофические или экзистенциальные риски для человечества». Звучит это одновременно размыто и тревожно.

Бездумное применение алгоритмических систем может усиливать неравенство, приводить к несправедливым решениям в отношении отдельных людей или групп. Это закономерно создает системные перекосы.

Все это может выглядеть как алармистские заявления, однако относится к подобным предупреждениям стоит трезво. Насыщение информационного поля новостями о взломах, атаках и прочих опасностях стало очень заметным (если не навязчивым) по нескольким причинам. Во-первых, это связано с масштабированием глубокого обучения ИИ, который, впрочем, нельзя напрямую сравнивать с человеческим интеллектом. Чтобы стать чрезвычайно полезным или опасным, ему не обязательно во всем превосходить нас, достаточно некоторых ключевых способностей.

Во-вторых, рост вычислительных мощностей и появление более мощных нейросетевых архитектур и методов обучения ускорили развитие возможностей ИИ. Однако это и ахиллесова пята подобных технологий. В-третьих, можно отметить заявления самих разработчиков: скорость развития отрасли опережает возможности людей по контролю над ИИ‑платформами, которые способны к самообучению и самосовершенствованию.

*организация признана экстремистской и запрещена на территории России.